如何在hadoop

Question

目前我们正在使用hadoop.root.logger="INFO,console"进行mapreduce和spark作业。我希望覆盖"WARN,console"，我试图设置全局变量

export HADOOP_ROOT_LOGGER="WARN,console"

在hadoop-env.sh中

但它不起作用。我可以在纱线日志中看到信息，警告，错误。我该如何覆盖这些设置。

Answer 1

文件yarn-env.sh具有覆盖YARN进程日志级别的这些行。

YARN_OPTS="$YARN_OPTS -Dhadoop.root.logger=${YARN_ROOT_LOGGER:-INFO,console}"
YARN_OPTS="$YARN_OPTS -Dyarn.root.logger=${YARN_ROOT_LOGGER:-INFO,console}"

如果未设置YARN_ROOT_LOGGER，则纱线日志级别设置为INFO。

在YARN_ROOT_LOGGER中添加变量hadoop-env.sh，

export YARN_ROOT_LOGGER="WARN,console"