标签： apache-spark
例如，我的笔记本电脑有8个核心，如果我提交：
sc.parallelize(1 to 100, 30).count
首先执行8个任务，然后在核心可用时逐个执行其他22个任务吗？
有没有办法通过SparkUI或日志来验证引擎盖下发生了什么？
答案 0 :(得分：1)
是。 Spark UI有一个事件时间轴视图来观察它[1]。您还可以在Spark日志中查看任务何时开始。
[1] https://databricks.com/blog/2015/06/22/understanding-your-spark-application-through-visualization.html