Question

我正在尝试使用ELK来分析我们的日志文件。按照可用的文档，设法在我的电脑中设置堆栈。现在我面临弹性搜索索引创建的问题。以前我用的是filebeat - ＆gt; logstash - ＆gt; elasticsearch - ＆gt; kibana组合并使用以下logstash.conf文件能够将数据发送到elasticsearch

input {
  beats {
   port => 5044
   type => "log"
  }
}

output {
  elasticsearch {
   hosts => "localhost:9200"
   manage_template => false
   index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
   document_type => "%{[@metadata][type]}"
  }
}

弹性搜索中的索引评估为

 "filebeat-*"

来自表达式

  index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"

现在我根据我的实际日志文件

更改了logstash.conf

input { 

file
{
    path => "C:\logs\application.log"
    start_position => "beginning"
    codec => 
    multiline {
      charset => "ISO-8859-1"
      pattern => "^%{TIMESTAMP_ISO8601}"
      max_lines => 1000
      negate => true
      what => "previous"
    } 
}

}

filter {
 mutate {
     gsub => [ "message", "\r", "" ]
   }

   grok {
    patterns_dir => "./patterns"
    match => {"message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL1:loglevel} %{THREAD:thread} %{IP5:remoteipaddress} %{JAVA:logclass} %{GREEDYDATA:details}"}
  add_field => [ "received_at", "%{@timestamp}" ]
  add_field => [ "received_from", "%{host}" ]

  }
   date {
            match => [ "timestamp", "yyyy-MM-dd HH:mm:ss,SSS" ]
            remove_field => [ "timestamp" ]
        }


}

output {

  elasticsearch { 
                hosts => "localhost:9200"
    manage_template => false
     index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
     document_type => "%{[@metadata][type]}"
                }
                file {
     path => "C:\logs\output.txt"
  }
}

在这种情况下，logstash对conf文件感到满意，但我建议的弹性搜索索引没有被正确评估。

如果我使用head插件检查弹性搜索，

http://localhost:9200/_plugin/head/

索引显示为

%{[@metadata][beat]}-

我不确定为什么现在没有评估索引表达式。任何解决此问题的指针都会有所帮助。

提前致谢，圣

Answer 1

某些logstash插件利用元数据传输您不想存储在文档中的字段。在第一个示例中，beats输入设置稍后在elasticsearch输出中使用的某些元数据来设置索引和类型。由于文件输入没有设置这些元数据字段，logstash将输出变量名而不是空字符串，因此它设置索引“％{[@ metadata] [beat]} - 2016.04.05”，日期已知，但元数据字段不是。

如果你只是将elasticsearch输出保留为默认值，它应该可以正常工作：

elasticsearch { hosts => "localhost:9200" }

如果将manage_template保留为false，它也不会应用logstash-模板，并且字段映射可能有点偏离，所以我建议再将其保留为默认值（true）。

Answer 2

既然你知道应该调用什么索引，只需将它放在elasticsearch outoput中：

Since you know what the index should be called, just put it in the `elasticsearch` output:

output {
  elasticsearch { 
    hosts => "localhost:9200"
    manage_template => false
    index => "filebeat-%{+YYYY.MM.dd}"
    document_type => "whatever_type_filebeat_put_in"
  }
}

ELK Stack - Elasticsearch索引创建（logstash）

2 个答案: