Question

我正在使用spark＆＃34; Spark 1.6.1-mapr-1604＆＃34;版。
我在本地模式下的工作成功执行但是当我在纱线群集模式下启动相同的工作时，它会抛出$("#dt-tabella tbody").on('click', 'tr', function () { $.ajax({ type: 'POST', url: 'include/ajax/query.php', data: { data: data[0] }, dataType: 'json', success: function (data) { series = [ data ]; $.plot("#Grafico", series, options); }}); };。

本地模式命令：

ExceptionInInitializerError

纱线群集模式：

spark-submit --class com.ts.clustering.TrainModel \
ts-0.0.1-SNAPSHOT.jar \
-model /user/hive/warehouse/ts/clustering_model 
-ip /user/hive/warehouse/ts/aidata_seq/* 
-k 10 -ite 10 > app_2.log &

spark-submit --queue dev --master yarn \ --deploy-mode cluster \ --class com.ts.clustering.TrainModel ts-0.0.1-SNAPSHOT.jar \ -model /user/hive/warehouse/ts/clustering_model \ -ip /user/hive/warehouse/ts/aidata_seq/* -k 10 -ite 10 > app_2.log &参数是要保存的模型的输出位置。

群集模式中的例外：

-model

我已经完成了几个类似的帖子，但没有任何帮助。任何建议都会有很大的帮助。

Answer 1

查看堆栈跟踪，我可以发现以下内容：

<uses-permission android:name="android.permission.INTERNET" />

很容易说您没有指定主网址但您已使用org.apache.spark.SparkException: A master URL must be set in your configuration at org.apache.spark.SparkContext.(SparkContext.scala:401) at org.apache.spark.api.java.JavaSparkContext.(JavaSparkContext.scala:59) at com.ts.clustering.TrainModel.(TrainModel.java:35) ... 21 more启动了该应用。

我猜测您已将主网址硬编码为--master yarn --deploy-mode cluster或根本没有指定。请参阅local。

为什么在YARN集群模式下提交Spark应用程序时出现ExceptionInInitializerError？

1 个答案: