Spark作业未在预期分区上运行

时间:2019-12-25 07:21:00

标签: apache-spark hadoop yarn

我已经为我的Spark集群创建了一个节点标签。我总共有10个节点,其中2个被标记为“排他”,其他8个被共享(无标签)。 我有两个队列:

  1. 默认:可以消耗0%的默认标签和100%的专有标签
  2. 聚合:可以消耗100%的默认标签和0%的独占标签 标签。

当我运行Spark作业并传递参数mergeIncrementalAggregates.rodbOpts.ConfOptions.rodbGenerationQueueName = default时,我希望将其排定在排他标签分区上,因为默认队列可以访问默认分区中0%的资源(无标签的节点) 。 但是令我惊讶的是,实际上在没有标签的节点上完成了Rodb的生成。

0 个答案:

没有答案
相关问题