如何将日志文件从多个Windows服务器传输到中央服务器?

时间:2015-01-11 18:26:03

标签: apache-kafka spark-streaming fluentd flume-ng nxlog

我有一个连续生成日志的Tableau服务器(Windows平台)。我想将它流式传输到apache spark进行一些实时分析。 我查看了以下解决方案,但似乎没有一个满足要求。

1)使用nxlog代理。这是不可扩展的,因为将来日志可能来自多个tableau服务器。

2)流氓,水槽与窗户不兼容。

3)Kafka是不可能的,因为它不会拖尾日志文件。

什么可以成为这种问题的可扩展解决方案? Tableau服务器在Windows上运行的主要限制是

1 个答案:

答案 0 :(得分:1)

一个选项(我个人会使用)是将http://logstash.net/与Apache Kafka一起使用。

搜索" logstash窗口"在Google上提供了一些教程。

排除Kafka因为它没有拖尾日志文件并没有多大意义。 :)