我在zeppelin spark笔记本中有两个段落:
val a = 5
和
println(a)
如果我在第一次之后立即运行第二次,那么一切正常。但如果我等了几秒钟,那么翻译就会关闭,第二段失败
在解释器日志中,几秒钟后,看到关注器会关闭:
INFO [2017-03-14 12:58:12,053] ({pool-1-thread-3} Logging.scala[logInfo]:54) - Stopped Spark web UI at http://10.0.0.2:4040
INFO [2017-03-14 12:58:12,065] ({pool-1-thread-3} Logging.scala[logInfo]:54) - Shutting down all executors
INFO [2017-03-14 12:58:12,066] ({dispatcher-event-loop-11} Logging.scala[logInfo]:54) - Asking each executor to shut down
INFO [2017-03-14 12:58:12,087] ({dispatcher-event-loop-25} Logging.scala[logInfo]:54) - MapOutputTrackerMasterEndpoint stopped!
INFO [2017-03-14 12:58:12,103] ({pool-1-thread-3} Logging.scala[logInfo]:54) - MemoryStore cleared
INFO [2017-03-14 12:58:12,104] ({pool-1-thread-3} Logging.scala[logInfo]:54) - BlockManager stopped
INFO [2017-03-14 12:58:12,115] ({pool-1-thread-3} Logging.scala[logInfo]:54) - BlockManagerMaster stopped
INFO [2017-03-14 12:58:12,120] ({dispatcher-event-loop-28} Logging.scala[logInfo]:54) - OutputCommitCoordinator stopped!
INFO [2017-03-14 12:58:12,124] ({pool-1-thread-3} Logging.scala[logInfo]:54) - Successfully stopped SparkContext
INFO [2017-03-14 12:58:12,141] ({pool-1-thread-3} InterpreterGroup.java[close]:145) - Close interpreter group 2CAQSK5DV::2CBFFWCNP
INFO [2017-03-14 12:58:14,247] ({Thread-3} Logging.scala[logInfo]:54) - Shutdown hook called
INFO [2017-03-14 12:58:14,249] ({Thread-3} Logging.scala[logInfo]:54) - Deleting directory /tmp/spark-b0cfee1f-e8ee-49dd-aae2-2d3446bfaaa1
INFO [2017-03-14 12:58:14,256] ({Thread-3} Logging.scala[logInfo]:54) - Deleting directory /tmp/spark-9c7c38d8-3e82-4833-8557-afb94f3c3cb7
我尝试添加解释器配置,例如:
zeppelin.interpreter.persistent
= true
spark.qubole.idle.timeout
= 900(我没有使用qubole,但似乎值得尝试...)......但没有任何改变这种行为。
如何处理?
编辑:请注意,%python
解释器似乎也存在同样的问题,因此似乎不是解释器/特定于spark的,而是所有zeppelin解释器的全局
答案 0 :(得分:0)
因此,事实证明,最后,一个处于垃圾箱中的笔记本将调度程序设置为每分钟运行一次,这就是触发解释器关闭。在“作业”页面注意到这个作业反复运行后,我打开那个笔记本,注意到调度程序已打开,关闭它,然后Zeppelin解释器不再继续关闭: - )