Flume-NG:如何使用Flume-ng

时间:2016-02-15 15:33:41

标签: hadoop streaming flume flume-ng

spooldir选项用于流式传输特定目录的所有文件。 完成目录的整个读取后,作业将暂停/停止。但是,如果我想将新文件添加到同一目录中,会发生什么?

我的要求是在任何新文件添加到该特定spooldir文件夹时流式传输该目录。

请建议!!!

提前致谢。

1 个答案:

答案 0 :(得分:0)

假脱机目录源将在目录中出现文件时继续读取文件,在处理水槽开始时目录中存在的文件集后,它不会暂停。这就是文档所说的 “这个源允许你通过将要被摄取的文件放入磁盘上的”假脱机“目录来摄取数据。这个源将监视指定目录中的新文件,并将在出现新文件时解析事件。”