从SparkStreaming应用程序使用SparkLauncher启动Spark应用程序

时间:2016-12-08 00:55:50

标签: apache-spark spark-streaming spark-launcher

我正在编写一个KafkaConsumer应用程序,我们在Yarn-Cluster模式下运行Kafka Consumer作为Spark Streaming Application。这个KafkaConsumer的职责是使用org.apache.spark.launcher.SparkLauncher监听不同的主题并在Yarn-Cluster模式下启动新的SparkApplications。

现在的问题是,当KafkaConsumer在Yarn-Client模式下运行时,新的Spark应用程序将成功启动,但在群集模式下,它会被卡住。

任何帮助或指示都非常感谢。在此先感谢。

0 个答案:

没有答案