Question

我正在尝试将hadoop 2.4软件包的预构建下载到我的mac后获得spark-submit工作。我已经运行PySpark反对它了一段时间，但是当我设置一些java代码通过spark-submit的exec命中Spark时，我收到以下错误：

Caused by: java.io.IOException: Cannot run program "spark-submit": error=2, No such file or directory
    at java.lang.ProcessBuilder.start(ProcessBuilder.java:1029)
    at net.skai.functions.spark.SkaiSparkSubmit.runSparkSubmit(SkaiSparkSubmit.java:43)
    at net.skai.functions.spark.SkaiSparkDriver.ingestBatch(SkaiSparkDriver.java:167)
    at net.skai.functions.spark.SparkFuncFramework.ripDataAndExecuteFunctions(SparkFuncFramework.java:64)
    at net.skai.core.internal.PipelineUtilImpl.ripDataAndExecuteFunctions(PipelineUtilImpl.java:204)
    ... 11 more
Caused by: java.io.IOException: error=2, No such file or directory
    at java.lang.UNIXProcess.forkAndExec(Native Method)
    at java.lang.UNIXProcess.<init>(UNIXProcess.java:135)
    at java.lang.ProcessImpl.start(ProcessImpl.java:130)
    at java.lang.ProcessBuilder.start(ProcessBuilder.java:1021)
    ... 15 more

我错过了什么？

Answer 1

您需要将以下内容添加到~/.bash_profile，然后使用source ~/.bash_profile在终端中重新加载bash个人资料。

export SPARK_HOME=/spark-1.5.0-bin-hadoop2.4
export PATH="$SPARK_HOME/bin/:$PATH"

如果您在IDE（Intellij，Eclipse，...）中运行代码，则可能需要重新启动IDE，并可能需要将计算机重新加载到$PATH。

获得火花提交工作

1 个答案: