Logstash - 一个输入 - 多个输出

Question

我有一个包含许多json对象的文件如下：

  

{＆＃34;浏览器＆＃34;：＆＃34; Chrome＆＃34;，＆＃34;版本＆＃34;：＆＃34; 45.0.2454.99＆＃34;，＆＃34;插件＆＃34 ;：[{   ＆＃34;插件＆＃34;：＆＃34; Flash＆＃34;，＆＃34;版本＆＃34;：＆＃34; 11.2.4.3＆＃34; }，{＆＃34;插件＆＃34;：＆＃34; Firebug＆＃34;，＆＃34;版本＆＃34;：＆＃34; 1.5.6.0＆＃34; }]，＆＃34;存储＆＃34;：   [{＆＃34;存储＆＃34;：＆＃34; LS＆＃34;，＆＃34;时间＆＃34;：106}，{＆＃34;存储＆＃34;：＆＃34; WS＆＃34; ，＆＃34;时间＆＃34;：167}]   }

是否可以在logstash中创建以下三个索引？

• 浏览器索引：浏览器，版本
• 插件索引：插件，版本
• 存储索引：存储，时间

Answer 1

是的，这是可能的，但这需要一些工作。

您需要克隆{}每个事件，从该副本中不需要的克隆中删除字段（请参阅prune {}），然后将每个克隆定向到单独的输出{}节。

现在，真正的问题是＆＃39;为什么＆＃39;？除非您有一些需要此问题的安全或数据保留问题，否则我建议您不要这样做。

Answer 2

是的，这是可能的。在较高级别，可以使用以下方法：

1. 使用clone创建输入数据的多个副本。
2. 克隆将为每个副本添加一个“类型”，然后您可以使用它来使用不同的过滤器处理文档的不同副本。
3. 在输出定义中，添加if / else语句以检测“类型”，然后使用该语句将文档的不同副本定向到不同的输出。

此blog post演示了上述步骤，并进行了一些其他增强。

另一种可能的方法是使用pipeline-to-pipeline communication (beta)

免责声明：我是Elastic的一名咨询工程师。