Question

我在尝试将应用程序（作业）提交到spark（1.0.0）群集时遇到了问题，我已经设置了主人并将一名工作人员连接到它（或者至少是那个＆＃39; s WebUI说）遵循本指南http://spark.apache.org/docs/latest/spark-standalone.html以及我从网站下载的预构建版本...事情是，当我尝试向群集提交应用程序时，我收到以下错误：

Exception in thread "main" java.lang.ClassNotFoundException: org.apache.spark.examples.JavaWordCount.java
   at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
   at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
   at java.security.AccessController.doPrivileged(Native Method)
   at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
   at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
   at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
   at java.lang.Class.forName0(Native Method)
   at java.lang.Class.forName(Class.java:270)
   at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:289)
   at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:55)
   at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

现在这是我正在使用的脚本，正如它在http://spark.apache.org/docs/latest/submitting-applications.html所说：

./bin/spark-submit --verbose --master spark://roman-XPS-L501X:7077 --class org.apache.spark.examples.JavaWordCount.java JavaWordCount.jar

我自己导出了jar并且它已经到位了，app也是给出的例子之一，所以我认为它没有任何问题。我感谢任何帮助，我提前感谢你。如果有人能向我解释什么是＆＃34;驱动程序＆＃34;它出现了，它在集群中的作用是什么，你可以想象我在理解这一点时遇到了一些麻烦。

Answer 1

首先，驱动程序是调用应用程序（即创建Spark上下文并定义要执行的操作的应用程序）。

其次，您使用＆＃34; .java＆＃34;指定类参数，这不是应该引用完全限定类名的方式。你的命令应该是：

./bin/spark-submit --verbose --master spark://roman-XPS-L501X:7077 --class org.apache.spark.examples.JavaWordCount JavaWordCount.jar

将应用程序提交到spark集群

1 个答案: