使用logstash从文件中收集数据

时间:2015-04-07 08:07:29

标签: elasticsearch logstash

我正在尝试使用logstash从文件中收集数据,但它不起作用,这是我的logstash.conf文件:

{

input {

stdin { }

file {
type => "tomcat-access"
path => ["/Users/aymen/Desktop/Projet Big Data/outils/logstash-1.5.0.rc2/var/log/test.txt"]

}

}

filter {

grok {
  match => [ "message", "%{WORD:firstname} %{WORD:lastname} %{NUMBER:age}"]
}

}

output {
 stdout { }

elasticsearch {
cluster => "logstash"
 }
 }

}

这是我的数据文件:

Kevin Larsing 34
Nicolas Derel 22
Florence Niral 32
Ines Lkiel 23

最好的问候。

1 个答案:

答案 0 :(得分:0)

正如@Magnus所说,你不需要最外面的牙套。除此之外,您可能想要添加(至少用于测试):

start_position => 'beginning'

...到输入文件流。这将确保提取测试文件中的现有日志。文档here - 请注意,此设置的默认值为"结束"。

我的.conf文件看起来像这样:

input {
  stdin { }
  file {
    type => "tomcat-access"
    path => "/in.txt"
    start_position => 'beginning'
  }
}
filter {
  grok {
    match => [ "message", "%{WORD:firstname} %{WORD:lastname} %{NUMBER:age}"]
  }
}
output {
  stdout { }
  elasticsearch {
    cluster => "henrys_elasticsearch"
  }
}
相关问题