Flume代理：flume代理如何从位于不同物理服务器的Web服务器获取数据

Question

我正在尝试了解Flume，并参考flume.apache.org上的水槽官方页面

特别是，提到this section，我对此感到困惑。

我们是否需要在实际的网络服务器上运行水槽代理，或者我们是否可以在不同的物理服务器上运行水槽代理并从网络服务器获取数据？

如果以上是正确的，那么水槽代理如何从网络服务器日志中获取数据？网络服务器如何将其数据提供给水槽代理？

任何人都可以帮忙理解这个吗？

Answer 1

Flume代理必须从源中提取数据，发布到通道，然后写入接收器。

您可以在本地或远程配置中安装Flume代理。但是，请记住，如果您担心这一点，将其设置为远程会为您的事件处理增加一些网络延迟。您还可以“复用”Flume代理以拥有一个远程聚合代理，然后在每个Web服务器上使用各个本地代理。

假设使用Spooldir或exec源在本地安装了flume代理，它基本上tail任何文件或在本地运行该命令。这是从日志中获取数据的方式。

如果将Flume代理设置为Syslog或TCP源（请参阅网络源上的数据提取部分），则它可以位于远程计算机上，您必须在日志记录应用程序中建立网络套接字以将消息发布到其他服务器。这与Apache Kafka类似。