需要一个简单的多线程Flume源

Question

寻求有关如何设置简单多线程水槽源的建议。

我一直在我的本地开发环境中使用spoolDir源来测试我的拦截器，但是从下面的链接来看，看起来spoolDir源始终是单线程的：

Reading Flume spoolDir in parallel

我们有一个可能在生产中出错的拦截器，因为它使用非线程安全的SimpleDateFormatter并且我试图在我的简单开发环境中重现。

Answer 1

我最终能够通过将我的开发环境从spoolDir源切换到syslogtcp源来重现我们在生产中看到的多线程错误行为。该错误不是我们所期望的，它与SimpleDateFormatter无关，而是它在事件标题中插入其他信息的方式。

我通过使用nc（netcat）将数据发送到syslog端口来模拟syslog服务器。我通过记录线程名称和ID验证了拦截器被多个线程调用。

所以对于任何感兴趣的人来说，最好使用syslogtcp之类的多线程源而不是spoolDir源来测试你的拦截器。