Question

我是ELK系统的新手，正在尝试在具有256 GB RAM和处理器2的本地Windows Server 2016 R2计算机上建立系统。因此，我在计算机上下载了logstash，elasticSearch和kibana。目的是要从远程计算机的特定文件夹中获取许多CSV文件。有了这些CSV文件后，我希望从其中取出数据并进行弹性搜索。我的logstash配置是这样的

# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.


input {
    file {
        path=> "D:/File-upload-server/uploads/*.csv"
    }
}

filter{
    csv
    {
    separator => ","
    columns => ["PRODUCTID","cost","seller","buyer","address","city","state","pincode"]
    }
}

output {

elasticsearch
{
    hosts =>    ["localhost:9200"]
    index =>    ["mydata"]
}

}

当我看到http://localhost:9200/_cat/indices?v时，我会找到类似

的条目

health status index                 uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   .kibana_task_manager  CD7ljRARROe-2YnvzYhbFw   1   0          2            0     29.5kb         29.5kb
yellow open   mydata               XmTpG5PrQT-c6dQrjkbjIg   1   1          7            0     31.1kb         31.1kb
green  open   .kibana_1             qhQ84QNvTSSrl0eRxvKj0g   1   0          5            1     32.5kb         32.5kb

请注意，docs.count表示在推送新文件时会增加的内容。

当新文件进入文件夹D：/ File-upload-server / uploads时，我发现大约20分钟后便选择了新文件。机器根本没有加载。所有资源都可用于此设置。

应该是理想的配置，还是我做错了配置。

Answer 1

由于准备好从logstash中使用csv文件，我建议尝试以“读取”模式打开文件，以便在EOF之前读取它们，并继续寻找新的即将出现的csv文件。由于使用“ tail”默认模式，我怀疑它正在等待特定的时间，直到寻找下一个文件。

input {
    file {
        path=> "D:/File-upload-server/uploads/*.csv"
        mode => "read"
    }
}

ELK：日志存储的CSV读取被延迟

1 个答案: