使用Fluentd和ElasticSearch进行实时数据同步

Question

我正在使用fluentd将数据从kafka同步到elascticsearch。但是流利的将数据同步到Elasticsearch需要60秒。我想要实时数据同步。我必须包括任何配置参数。

我尝试过

<source>
  @type kafka
  brokers localhost:9092
  topics xxx
</source>
<match xxx>
  @type elasticsearch
  scheme http
  port 9200
  <buffer tag>
    @type memory
    flush_thread_count 4
  </buffer>
</match>

Answer 1

我们使用flush_interval参数，如下所示：

  <buffer>
    flush_interval        5s
    flush_thread_count    4
  </buffer>