使用部署模式群集

Question

对spark-submit使用--master yarn --deploy-mode cluster命令会导致更长的调度程序延迟，而不是使用--master yarn --deploy-mode client。

任务绩效结果截图：

这主要涉及在RDD上调用collect操作的作业。

以client模式启动的spark应用程序大约需要3到4分钟，而cluster模式需要6到7分钟。阶段中每个任务的大小小于100 KB。 Cluster有8个数据节点并运行Cloudera Manager 5.9.0

Answer 1

此特殊情况的解决方案。该问题是由群集基础结构中的以太网电缆断开引起的。更换后，时间大大减少了。