Kibana，用于大数据环境的Logstash

Question

我们可以使用Logstash和Kibana进行大数据分析吗？

我将使用Hadoop存储我的数据。在尝试任何事情之前，我想知道是否有人已经尝试过这个。

Answer 1

您的数据有多大？

目前，我使用Logstash + ElasticSearch + Kibana来分析超过50 GB的日志数据。

Elasticsearch还与Hadoop集成。
请检查此链接：http://www.elasticsearch.org/overview/hadoop/

Answer 2

我实际上已经使用Hive将HDFS + ElasticSearch + Kibana + Logstash工作了。它工作得很好。 虽然如果您尝试将数据从ElasticSearch加载到Hive中，但未正确声明数据类型，则可能会在数据上获得NULL值。

--- Hive Coonection ---
确保es-hadoop-hive-2.0.2.jar和es-hadoop-2.0.2.jar文件位于Hive目录中。

请访问ElasticSearch网站上的文档以获取更多详细信息。

Answer 3

一周内125GB（猜测）1k文件大约是200 /秒，这对任何logstash / elasticsearch配置都没有问题。

去找6台机器：

• 三个elasticsearch数据节点，每个节点有64GB RAM。
• 运行elasticsearch主节点的三台机器（RAM要求低得多）。这些也可以是客户端节点（用于索引和搜索请求），并且可以运行logstash和kibana你是否加强了它们。