即使纱线资源充足,作业仍处于待处理状态并卡住

时间:2018-12-07 10:07:24

标签: hadoop mapreduce yarn capacity capacity-planning

我们的集群有很多队列。我们使用容量调度程序。 我们的队列之一具有以下配置

以下是纱线构造

yarn.scheduler.capacity.root.Dt_Rep.acl_administer_jobs=prdadm,HTTP
yarn.scheduler.capacity.root.Dt_Rep.acl_administer_queue=prdadm,HTTP
yarn.scheduler.capacity.root.Dt_Rep.acl_submit_applications=*
yarn.scheduler.capacity.root.Dt_Rep.capacity=20
yarn.scheduler.capacity.root.Dt_Rep.enable-size-based-weight=true
yarn.scheduler.capacity.root.Dt_Rep.maximum-capacity=100
yarn.scheduler.capacity.root.Dt_Rep.ordering-policy=fair
yarn.scheduler.capacity.root.Dt_Rep.state=RUNNING
yarn.scheduler.capacity.root.Dt_Rep.user-limit-factor=3

我们经常看到,即使最大容量设置为100,在此队列中运行的作业也处于挂起状态并且不获取资源。

我们从来没有看到所有Vcore都被利用过,因此我们希望这些工作能够在免费的情况下获得资源。 我该怎么做才能解决此问题。 我们希望在此队列中运行的作业流始终运行。

0 个答案:

没有答案
相关问题