Kafka如何用于在服务器之间传输文件?

时间:2018-03-29 09:17:31

标签: synchronization apache-kafka rsync apache-kafka-connect

我正在寻找一种解决方案,以便在多个服务器之间保持一堆文件不断同步(一个"主"以及多个"奴隶")。

我已经找到并成功测试了基于ssh和rsync的 lsyncd https://github.com/axkibe/lsyncd

但是,我想检查一下是否可以找到具有更高吞吐量的解决方案。

我开始研究 Kafka (基本上是一个消息代理),我想知道Kafka是否可以配置为对这个用例有用。如果是这样,怎么样?您是否了解基于卡夫卡的现有解决方案?我应该使用特定的工具/插件吗?

由于

1 个答案:

答案 0 :(得分:0)

看起来Kafka没有开箱即用本地支持这种用例。

虽然可以为此编写连接器,但我认为另一种解决方案更合适。

据我所知,目前合适的解决方案是:

  • 使用NFS等网络文件系统
  • 使用lsyncd
  • 等工具通过rsync / scp同步文件
  • 如果这些文件是JSON文档,请使用基于JSON文档的NoSQL数据库(例如MongoDB或CouchBase)并设置主/从复制