节流每日索引创建

时间:2015-09-18 13:41:54

标签: elasticsearch logstash

这是我的问题。

我们有一个ES安装,我们以Logstash模式发送每日日志,也就是说,每天都有一个索引。当我们发送一堆非常稀疏且覆盖几年的日志时,问题就出现了。 Elasticsearch 1.7.2(Debian GNU / Linux,Java 8)尝试创建500多天的索引并持续崩溃。有时它可以被带回来,但它不会在没有任何解释的情况下对任何内容进行索引(日志中没有错误),并且大多数或所有分片都将是红色和未分配的。

我认为默认设置允许并行创建无限索引。因为在尝试索引第二天之前,每天索引相同的日志,等待上一个索引稳定下来,所以工作正常。

有没有办法在Elasticsearch中限制索引创建(比如,配置一次只执行不超过1或N个并行索引创建任务)?

0 个答案:

没有答案