如何将流日志数据附加到Flume中的hdfs文件中？有没有人有MR源代码将数据附加到hdfs中的文件

Question

我需要使用Flume将流数据附加到hdfs中。在不覆盖现有日志文件的情况下，我需要将流数据附加到hdfs中的现有文件。您能否提供相同的MR代码链接。

Answer 1

默认情况下，Flume不会覆盖hdfs目录中的现有数据。这是因为，flume保存了带有文件夹名称的传入数据，附加了sink时间戳，例如 Flume.2345234523 因此，如果您在hdfs中的同一目录中再次运行水槽，它将在相同的hdfs路径下创建另一个文件。