处理日志数据负载的最佳技术或语言?

时间:2016-07-27 10:50:17

标签: logging

我需要创建一个解决方案,该解决方案需要将来自elasticsearch db的数据加载到程序中,这些程序是JSON格式的应用程序日志。一个请求可能有数千个日志,我需要通过读取它们找到它们之间的相互关系,最后通过Web浏览器的UI中的适当分组机制(业务中的映射类型)将输出可视化给用户。如果存在理想的技术或理想的编程语言来完成这个,你们能为我们建议吗?我试图用Kibana UI进行这种分组,但我们想要的机制和方式并不存在。这可能是一个不恰当的问题,但我需要有经验的人的指导。

1 个答案:

答案 0 :(得分:1)

首先,查看有关聚合的ElasticSearch文档:https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations.html。你可以做很多强大的“分组机制”。

对于输出,一旦计算出所需的数据,就可以在ElasticSearch中再次推送这些数据,然后在Kibana中显示它们。另一个解决方案是构建自己的UI。

对于该语言,您可以尝试使用NodeJS进行javascript。操作JSON会更容易。如果您的目标是创建自己的UI,它还使您能够执行异步任务。