使用Kafka Producer传送日志文件

Question

我想创建一个python脚本来从虚拟机中发送文件并将其发送到kafka代理。 简单起见：

• 我在此IP地址中有日志文件： VM1 10.10.10.1
• 我想创建一个kafka生产者（使用python）来从 VM1
中发送文件
• Kafka已安装在另一台虚拟机上： VM2 10.10.10.2

限制

1. 我无法在 VM1
上安装任何工具
2. 我只能使用user / pwd来访问 VM1

我认为我需要创建一个连接器吗？我们可以重用 connect-file-sink.properties 之类的东西，并指定在外部计算机上存储文件的文件夹+ ip： VM1

还有其他工具可以做到吗？

Answer 1

有很多现有工具可以执行此操作，例如支持Filebeat，output to Kafka等的Fluentd

这些都很容易用简单的配置文件进行设置。最棘手的地方可能是您的网络连接-只需确保已configured Kafka's listeners correctly。