弹性搜索:无法确定弹性搜索的版本:

时间:2017-03-05 07:27:39

标签: amazon-web-services hadoop elasticsearch amazon-ec2 pyspark

我正在尝试使用pyspark上的弹性搜索hadoop插件将大约8000万个文档索引到HDFS的弹性搜索。如果我尝试在1个镜头中插入完整数据,在索引大约2000万个文档后,我开始得到上述错误并且spark作业失败。 我尝试设置了很多不同的选项,比如索引数据的一部分,将重试次数参数更改为无限制,增加批量大小。但没有任何效果。任何帮助表示赞赏。

HDFS和ES都在AWS上。我使用的是ES 5.2版。

0 个答案:

没有答案