当更改到新的一天的目录后，Flume在HDFS中留下.tmp文件

Question

我正在使用Flume 1.7.0和HDFS接收器。我将Flume配置为将数据放入HDFS的日期目录中，以便在新的一天到来时自动更改目录。问题是我设置了文件大小（240MB），但是当目录发生变化时，水槽每天都会留下.tmp文件。在没有关闭未完成的文件（小于240MB）的情况下，它似乎改变了新的一天的目录。

例如。如果我开始3个水槽剂。当水槽代理更改为新目录20180411时，将在目录20180410中保留3个.tmp文件。

有没有办法让.tmp文件在更改到新的一天的目录之前关闭它？谢谢大家帮助我。

Answer 1

您可以将hdfs.idleTimeout添加到配置中，因此根据documentation

，如果未向文件中添加新事件，则文件将关闭。

  

超时，不活动的文件将被关闭（0 =禁用自动关闭空闲文件）

请注意数字是秒。至少要等待几分钟。