Kafka连接教程停止工作

时间:2016-08-17 23:27:36

标签: apache-kafka kafka-consumer-api kafka-producer-api confluent apache-kafka-connect

我在此链接上执行了第7步(使用Kafka Connect导入/导出数据):

http://kafka.apache.org/documentation.html#quickstart

直到我删除了' test.txt'文件。主要是因为log4j文件的工作方式。一段时间后,文件将被轮换 - 我的意思是 - 它将被重命名&将开始写入具有相同名称的新文件。

但之后,我删除了' test.txt',连接器停止工作。我重新启动了连接器,经纪人,动物园管理员等,但来自' test.txt'的新行。不会去连接测试'话题&因此,不会去#test; test.sink.txt'文件。

我该如何解决这个问题?

1 个答案:

答案 0 :(得分:3)

连接器保留其文件"的最后位置标签,以便在读取文件时崩溃,它可以在停止的地方继续。

问题是你删除了文件而没有将偏移重置为0,所以它基本上没有看到任何新数据,因为它等待新数据显示从头开始的特定字符数...

解决方法是否重置偏移量。如果您在独立模式下使用connect,默认情况下,偏移量存储在/tmp/connect.offsets中,只需从那里删除它们。

从长远来看,我们需要一个更好的文件连接器:)