如何使用通过hdfs文件访问的自定义log4j.properties与dcos Spark

时间:2017-10-30 12:19:26

标签: apache-spark log4j hdfs mesos dcos

我正在尝试将hdfs中的自定义log4j.properties文件传递给使用spark cli启动的dcos作业。我已经尝试了任何可用的火花配置选项的排列(例如--conf spark.executor.extraJavaOptions=‘-Dlog4j.configuration=hdfs://conf/custom-log4j.properties’)但是没有办法让它工作,配置只是被忽略。

0 个答案:

没有答案
相关问题