索引到ElasticSearch的最快方法是什么？

Question

我们一直在使用ElasticSearch 2.x。除了一个弱点之外，一切都完全符合我们的要求：写入/索引到ElasticSearch集群的性能不是很好。

在我们的例子中，我们有8个节点的ES集群，它是我们放入ES的100~字段宽的索引。索引速率约为每分钟50,000，这对我们的场景来说太慢了。我们尝试了www.elastic.co推荐的所有调整方法。我们发现的最快方法是将json有效负载构造为文件，然后使用批量API将它们转储到ES中。但是，索引速度仍然太慢。

我见过一些ES-Hadoop连接器，弹性搜索也有火花支持，你可以使用saveToES（）将RDD保存到ES。我怀疑他们都在下面使用ES批量API。任何人都可以分享一些经验吗？在ElasticSearch中编写索引的最快方法是什么？

Answer 1

无论你在ES之外使用什么第三方工具，一切都需要使用ES方式放入数据。无论是Spark，Logstash，你自己的应用程序都需要以某种方式使用批量或索引API。这里没有后门魔法。