我在此链接上执行了第7步(使用Kafka Connect导入/导出数据):
http://kafka.apache.org/documentation.html#quickstart
直到我删除了' test.txt'文件。主要是因为log4j文件的工作方式。一段时间后,文件将被轮换 - 我的意思是 - 它将被重命名&将开始写入具有相同名称的新文件。
但之后,我删除了' test.txt',连接器停止工作。我重新启动了连接器,经纪人,动物园管理员等,但来自' test.txt'的新行。不会去连接测试'话题&因此,不会去#test; test.sink.txt'文件。
我该如何解决这个问题?
答案 0 :(得分:3)
连接器保留其文件"的最后位置标签,以便在读取文件时崩溃,它可以在停止的地方继续。
问题是你删除了文件而没有将偏移重置为0,所以它基本上没有看到任何新数据,因为它等待新数据显示从头开始的特定字符数...
解决方法是否重置偏移量。如果您在独立模式下使用connect,默认情况下,偏移量存储在/tmp/connect.offsets中,只需从那里删除它们。
从长远来看,我们需要一个更好的文件连接器:)