群集(纱线资源管理器)中的作业运行时发生火花流错误

时间:2018-08-28 16:23:15

标签: apache-spark yarn dstream

我遇到以下错误:
我编写了一个基于Spark流( Dstream )的应用程序,以提取来自PubSub的消息。不幸的是,我在执行此作业时遇到错误。实际上,我正在使用由4个节点组成的集群来执行Spark Job。

作业运行10分钟后,没有任何特定的错误,我永久得到以下错误:

  

org.apache.spark.streaming.CheckpointWriter错误:
  无法将检查点任务提交给线程池执行程序java.util.concurrent.RejectedExecutionException:任务org.apache.spark.streaming.CheckpointWriter$CheckpointWriteHandler@68395dc9被拒绝
  来自java.util.concurrent.ThreadPoolExecutor@1a1acc25
  [正在运行,池大小= 1,活动线程= 1,已排队的任务= 1000,已完成的任务= 412]

0 个答案:

没有答案