您是否应该授予写入权限,以便在假脱机目录源中重命名文件

时间:2016-09-06 05:40:35

标签: flume flume-ng

我有一个flume代理,它从一个假脱机目录源读取,并在一些转换后写入hdfs。 由于flume尝试将已处理的文件重命名为' .COMPLETED',我在写假脱机目录时收到权限被拒绝的异常。

我想知道给敏感数据写入权限是多么安全。

是否有一个关于水槽的解决方案来识别假脱机目录中的已处理文件

1 个答案:

答案 0 :(得分:0)

假脱机目录源的工作方式需要重命名文件。

作为一种解决方法,拥有"只读"更安全。复制文件并创建一些机制(例如,cron作业),将文件复制到假脱机目录Flume具有写访问权限。 (并且可能将deletePolicy配置选项设置为immediate,以避免填满磁盘。)

如果您想申请此类功能,我建议您在https://issues.apache.org

创建一张新票