为什么zeppelin spark解释器会在几秒钟后关闭?

时间:2017-03-14 17:08:26

标签: apache-spark apache-zeppelin

我在zeppelin spark笔记本中有两个段落:

val a = 5

println(a)

如果我在第一次之后立即运行第二次,那么一切正常。但如果我等了几秒钟,那么翻译就会关闭,第二段失败

在解释器日志中,几秒钟后,看到关注器会关闭:

INFO [2017-03-14 12:58:12,053] ({pool-1-thread-3} Logging.scala[logInfo]:54) - Stopped Spark web UI at http://10.0.0.2:4040 INFO [2017-03-14 12:58:12,065] ({pool-1-thread-3} Logging.scala[logInfo]:54) - Shutting down all executors INFO [2017-03-14 12:58:12,066] ({dispatcher-event-loop-11} Logging.scala[logInfo]:54) - Asking each executor to shut down INFO [2017-03-14 12:58:12,087] ({dispatcher-event-loop-25} Logging.scala[logInfo]:54) - MapOutputTrackerMasterEndpoint stopped! INFO [2017-03-14 12:58:12,103] ({pool-1-thread-3} Logging.scala[logInfo]:54) - MemoryStore cleared INFO [2017-03-14 12:58:12,104] ({pool-1-thread-3} Logging.scala[logInfo]:54) - BlockManager stopped INFO [2017-03-14 12:58:12,115] ({pool-1-thread-3} Logging.scala[logInfo]:54) - BlockManagerMaster stopped INFO [2017-03-14 12:58:12,120] ({dispatcher-event-loop-28} Logging.scala[logInfo]:54) - OutputCommitCoordinator stopped! INFO [2017-03-14 12:58:12,124] ({pool-1-thread-3} Logging.scala[logInfo]:54) - Successfully stopped SparkContext INFO [2017-03-14 12:58:12,141] ({pool-1-thread-3} InterpreterGroup.java[close]:145) - Close interpreter group 2CAQSK5DV::2CBFFWCNP INFO [2017-03-14 12:58:14,247] ({Thread-3} Logging.scala[logInfo]:54) - Shutdown hook called INFO [2017-03-14 12:58:14,249] ({Thread-3} Logging.scala[logInfo]:54) - Deleting directory /tmp/spark-b0cfee1f-e8ee-49dd-aae2-2d3446bfaaa1 INFO [2017-03-14 12:58:14,256] ({Thread-3} Logging.scala[logInfo]:54) - Deleting directory /tmp/spark-9c7c38d8-3e82-4833-8557-afb94f3c3cb7

我尝试添加解释器配置,例如:

  • zeppelin.interpreter.persistent = true
  • spark.qubole.idle.timeout = 900(我没有使用qubole,但似乎值得尝试...)

......但没有任何改变这种行为。

如何处理?

编辑:请注意,%python解释器似乎也存在同样的问题,因此似乎不是解释器/特定于spark的,而是所有zeppelin解释器的全局

1 个答案:

答案 0 :(得分:0)

因此,事实证明,最后,一个处于垃圾箱中的笔记本将调度程序设置为每分钟运行一次,这就是触发解释器关闭。在“作业”页面注意到这个作业反复运行后,我打开那个笔记本,注意到调度程序已打开,关闭它,然后Zeppelin解释器不再继续关闭: - )

相关问题