Question

我尝试使用spark-submit在Windows中启动spark作业。 Spark应用程序工作正常，无需指定日志记录选项。

使用以下--driver-java-options：

--driver-java-options "-Dlog4j.configuration=file:///d:/launch/log4j-spark.properties"

我收到错误消息：

系统找不到指定的路径。

我尝试了很多组合，但没有运气，请指教。

spark-submit --master local[*]  --files D:\launch\log4j-spark.properties --jars D:\launch\spark-sql-kafka-0-10_2.10-2.1.0.jar \
--driver-java-options "-Dlog4j.configuration=file:///d:/launch/log4j-spark.properties"  \
--class com.acheron.bi.pipeline.DataPipelineProcessor D:\launch\bi-master-pipeline-1.0-SNAPSHOT-jar-with-dependencies.jar

--driver-java-options "-Dlog4j.configuration=file://./launch/log4j-spark.properties"  \
--driver-java-options "-Dlog4j.configuration=log4j-spark.properties"  \

下面的

是包含代码

的文件夹

D:\launch>dir
 Volume in drive D is Data
 Volume Serial Number is 52DE-C096

 Directory of D:\launch

10/20/2017  10:06 AM    <DIR>          .
10/20/2017  10:06 AM    <DIR>          ..
10/20/2017  09:46 AM       111,631,778 bi-master-pipeline-1.0-SNAPSHOT-jar-with-dependencies.jar
10/20/2017  09:35 AM             1,394 event-win.yml
10/20/2017  09:58 AM               483 log4j-spark.properties
10/19/2017  01:19 PM               488 prod.env.properties
09/07/2017  09:35 AM           232,649 spark-sql-kafka-0-10_2.10-2.1.0.jar
               5 File(s)    111,866,792 bytes
               2 Dir(s)  152,071,843,840 bytes free

Answer 1

我可以运行Windows cmd并使用以下命令和我的自定义my-log4j.properties成功启动spark应用程序。

如果您在log4j.properties的路径中没有空格，则可以省略引号：

spark-submit.cmd --master local[*]  --driver-java-options -Dlog4j.configuration=file:///c:/tools/spark-2.0.0-bin-hadoop2.7/bin/my-log4j.properties --class testjob.Main sparkjob.jar

如何在Windows上将log4j配置文件传递给spark-submit？

1 个答案: