YARN - 指定在哪个Nodemanager上运行哪个应用程序

Question

我有一个Hadoop YARN集群，包括一个resourcemanager和6个nodemanagers。我想在群集上运行Flink和Spark应用程序。所以我有两个关于YARN的主要问题：

1. 如果是Spark，我应该在资源管理器和每个节点管理器上安装和配置Spark吗？当我想在YARN上提交Spark应用程序时，除了YARN resourcemanager和nodemanagers之外，还应该运行Spark集群（主服务器和从服务器）吗？
2. 我可以设置YARN，以便在某些特殊的nodemanagers中运行Flink吗？

由于

Answer 1

对于第一个问题，这取决于您是否使用打包的Hadoop发行版（例如Cloudera CDH，Hortonworks HDP）。发行版可能会解决这个问题。如果您没有使用发行版，则需要考虑是否要在YARN或Spark上独立运行Spark。

对于第二个问题，如果您正在使用启用了节点标记功能的Capacity Scheduler，并且您正在使用Hadoop 2.6及更高版本，则可以指定特殊的节点管理器。