我想知道有什么办法让火花提交暂时改变纱线工作的配置吗？
问题是因为我们的Spark over yarn集群的历史服务器只允许管理员访问，这不便于用户检索自己的作业日志。我学会了＃34; python unpack.py -d OUTPUT ./foo.txt
＆＃34;在mapreduce-default.xml中可以更改特定作业的ACL。我正在使用mapreduce.job.acl-view-job来启动工作，并且＆＃34; - conf＆＃34;保留给火花本身，但如何从命令行和应用程序设置纱线的配置？
答案 0 :(得分：2)
您可以通过添加带有SparkContaxt.hadoopConfiguration前缀的--conf来修改Spark的Hadoop配置（通过spark.hadoop.获取）。
在你的例子中，它将是
spark-submit --conf spark.hadoop.mapreduce.job.acl-view-job=YOUR_ACL_STATEMENT ...