Hadoop:如何知道HDFS文件访问详细信息?

时间:2017-10-23 13:22:39

标签: hadoop hdfs

我打算做一个项目,我需要实时监控HDFS文件的创建,删除和追加操作。 Hadoop metrics告诉执行此类操作的次数,但我需要知道正在执行这些操作的文件。日志似乎对此没什么帮助。是否有任何框架/技术可以轻松地监控HDFS文件操作?

1 个答案:

答案 0 :(得分:0)

如果您使用Hadoop 2.6+,使用https://issues.apache.org/jira/browse/HDFS-6634

中实现的inotify功能的原生方式是

看一下Cloudera的精彩演示:https://www.slideshare.net/Hadoop_Summit/keep-me-in-the-loop-inotify-in-hdfs