spark流错误:此JVM中可能仅运行一个SparkContext

时间:2019-02-07 20:28:47

标签: spark-streaming

我正在尝试使用以下命令启动我的火花

     val spark =SparkSession.builder().appName("micro").
     enableHiveSupport().config("hive.exec.dynamic.partition", "true").
     config("hive.exec.dynamic.partition.mode", "nonstrict").config("spark.driver.allowMultipleContexts","true").
     config("spark.sql.streaming.checkpointLocation", "/user/sa1/sparkCheckpoint").config("spark.sql.parquet.cacheMetadata","false").config("spark.sql.parquet.cacheMetadata","false").config("spark.debug.maxToStringFields",100).enableHiveSupport().getOrCreate()

然后为了流式传输,我开始如下所示的ssc:

     val ssc = new StreamingContext("local[*]", "KafkaExample", Seconds(4))   

但是,一旦我开始ssc,就会出现以下错误。       org.apache.spark.SparkException:此JVM中只能运行一个SparkContext(请参阅SPARK-2243)。要忽略此错误,请设置spark.driver.allowMultipleContexts = true。

但是我已经在SparkSession.builder()中添加了提到的属性。 有人可以帮助解决这个问题吗?

0 个答案:

没有答案