Spring XD或Integration实时解析日志统计信息

时间:2013-12-04 13:35:46

标签: rabbitmq spring-integration logparser spring-xd

我有一个仪表板Web应用程序,它当前启动一个线程并且尾随一个日志文件,即使有一行添加到文件中,tailer将其拾取,解析它然后在应用程序周围发布一个事件,比如通过Web套接字将其发送到客户端或更新存储在磁盘上的总数。

这一切都很好,到目前为止似乎每天处理500,000个日志事件而不打击眼睑。

但是看看Spring系列,也许有更好的方式以更“标准化”的方式实现这一点,这样可以更容易地维护代码,并让其他人支持它。

由于我是Spring新手,有人可以告诉我这种东西是否最适合Spring Integration或Spring XD,还是应该进一步使用Spring Integration和Rabbit MQ?

2 个答案:

答案 0 :(得分:2)

Spring Integration 3.0 now has a tail inbound adapter。它将很快发布,release candidate was announced last week。 XD在其尾源模块中使用它。

答案 1 :(得分:0)

我在使用Spring XD时做的工作完全相同。每天处理30Go日志文件。丰富他们,将他们发送到hadoop和Elasticsearch。

我们非常满意这种以分布式方式混合弹簧集成,弹簧批量的技术。

我注意到Redis是一个真正的bottelneck并切换到RabbitMq以获得更好的吞吐量