纱线在节点上分配太多的vcores

Question

我在yarn-site.xml中将最大分配vcores设置为1，将物理核心数设置为2.所有节点都相同。但是，有些人，YARN会为一个节点分配3个容器。它报告该节点上有-1个vcores。最终发生的事情是nodemanager关闭该节点，并且作业失败。你如何防止YARN过度分配vcores？还有其他节点可用，使用0个vcores。我已经指定了可以分配的最小和最大vcores数量以及每个节点的物理vcore数量。当我查看YARN报告时，一切看起来都是正确的。

Answer 1

此answer正是您要找的。不幸的是，似乎默认的YARN行为是在执行这些分配时仅考虑内存。幸运的是，这可以改变，请参阅链接的答案。

我觉得YARN的所有文档都被骗了，因为我发现没有提到这种变化是必需的，但是有很多关于如何设置vcore值的博客/帖子。