YARN shell命令用于获取运行应用程序所使用的容器和vcore的数量

Question

hadoop job -list似乎只显示mapreduce作业，但我的资源管理器UI显示YARN上运行的所有作业（包括Spark和Tez等）的“分配的CPU VCores”和“Allocated Memory MB”。< / p>

如何通过命令行而不是转到UI来获取这些结果？

Answer 1

YARN支持不同类型的应用程序。 “MapReduce”是YARN支持的一种应用程序。如果您使用hadoop job（已弃用，则应使用mapred job）或mapred job，则只能操作MapReduce作业。

要查看不同类型的应用程序（mapreduce，spark等）的状态，您应该使用YARN CLI。

例如“yarn application -list -appStates ALL”，列出所有应用程序的状态。此命令的输出包含一列“Application-Type”，它指示应用程序的类型（例如，用于MapReduce应用程序的MAPREDUCE）。

您可以获取有关应用程序，应用程序尝试，容器等的详细信息。这里给出了2.7.1版Hadoop的命令：https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YarnCommands.html。

但是，这些命令不会通过CLI返回“已分配的CPU VCores”和“Allocated Memory MB”等详细信息。

yarn application -status {Application ID}命令以“MB-seconds”和“vcore-seconds”的形式返回“聚合资源分配”

例如我的一个应用程序返回了-status：

汇总资源分配：12865641 MB-seconds，1041 vcore-seconds