使用Logstash + logstash转发器+ kibana + Elasticsearch的自定义日志

时间:2014-09-05 07:29:28

标签: elasticsearch logstash kibana

我已经配置了Logstash + logstash转发器+ kibana + Elasticsearch。它使用系统日志,如Apache错误日志&系统日志。现在,我有一个应用程序日志,如下所示,

发件人:sender@domain.com create_time:2014年9月4日星期四02:41:54 收件人:automation@domain.com

如何通过kibana阅读上述日志文件。在这方面,请有人帮助我。你的帮助很多。

2 个答案:

答案 0 :(得分:0)

您的日志代码应该先分析您的日志,然后再将其推送到elasticsearch中。

我认为目前,你的logstash有一个输入(伐木工)和一个输出(ES)。您应该添加至少一个grok过滤器(最常用的)来提取新的语义字段。

然后,您将能够根据以下新字段创建可视化:)

见:logstash.net/docs/1.4.2/filters/grok

答案 1 :(得分:0)

使用logstash转发器导出日志并将日志发送到logstash(通过伐木工人协议)。

在logstash过滤器插件中,对Apache日志使用grok模式来使其工作并输出该elasticsearch节点。

然后您可以使用kibana从elasticsearch读取数据并相应地对其进行可视化。

现在,可以通过在源端使用filebeat来替换它,该文件可以导出数据,并且不需要在logstash中开发诸如apache日志之类的东西。这样一来,您就可以将Filebeat [Apache日志]中的数据直接发送到elasticsearch并从kibana进行可视化。