Question

编辑：我想是因为我安装了Java 10而不是Java 8，所以我会尽快进行补救，看看它是否可以解决问题。另外，如果我使用Git Bash，使用Java 8仍然会出现此错误，但是如果使用CMD，则不会出现此错误。

我一直在尝试在IntelliJ之外（可以正常运行）在本地运行Spark程序。但是，当我在终端中使用spark-submit运行它时，所发生的只是打印了该命令的更详细的版本。

（从Main类所在的目录运行（尽管我也尝试过详细说明其目录），但是即使我在未指定类的情况下运行它，也没有任何反应）。

例如

    > spark-submit --class Main --master local[4] path-to-jar.jar

输出：

    "C:\Program Files\Java\jdk-10.0.1\bin\java" -cp "C:\...\spark-2.3.1-bin-hadoop2.7/conf\;C:\...\spark-2.3.1-bin-hadoop2.7\jars\*" -Xmx1g org.apache.spark.deploy.SparkSubmit --class Main " --master" local[4] " path-to-jar.jar"

其中椭圆只是路径的一部分。

我找不到导致此错误的任何原因-我正在关注Spark文档。不过，我对Spark不太熟悉。有什么想法吗？

也可能与此问题有关：当我在cmd中仅运行“ spark-shell”时，它也只打印了指向spark-shell的路径。如果我运行“ spark-shell.cmd”，则会显示错误

    Failed to initialize compiler: object java.lang.Object in compiler mirror not found.

还有其他事情。

Answer 1

需要检查几件事： 1.检查环境变量是否设置正确，例如： -HADOOP_HOME，JAVA_HOME，SPARK_HOME，WinUtils.exe 2.如果您正在运行Java 10，请卸载Java 10并安装Java版本“ 1.8.0_144”

火花提交和火花壳不起作用

1 个答案: