log4j用于hbase mapreduce作业

时间:2013-06-24 20:18:07

标签: apache hadoop mapreduce log4j hbase

我知道hadoop使用log4进行日志记录,我能够在conf / log4j.properties中查看属性,以确定现有日志文件的位置。但是,有没有办法将日志从hbase mapreduce作业定向到一个全新的文件?想法是,我有一份工作计划每晚运行,我希望能够只为这份工作登录到/var/log/myjob.log,以便我可以检查该文件是否有任何错误/异常,而不必通过jotrackter UI。这可能吗?如果是这样,怎么样?另请注意,作业将提交给群集,因此请在日志文件需要在HDFS或常规(Linux)平台上时提供建议。如果在Linux上那么它应该在所有节点上还是只在hadoop master上?

感谢您的建议。

1 个答案:

答案 0 :(得分:0)

您可以在mapper和reducer类的setup()方法中Configuring Log4j Loggers Programmatically解释动态创建File Appender。

相关问题