确定hadoop集群中的从节点是否已分配任务

Question

我是Hadoop和MapReduce的新手。我刚刚部署了一个Hadoop集群，其中包含一台主机和32台从机。但是，当我开始运行一个示例程序时，它似乎只是运行缓慢。如何确定map / reduce任务是否确实已分配给从属节点以供执行？

示例程序的执行方式如下：

hadoop jar ${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar pi 32 100

Answer 1

那里有很多可能性。 Hadoop出来帮助分布式任务。

1. 因此，如果您的代码是以一切依赖的方式编写的，那么就不会使用32个从属代码。相反，它需要花费很长时间来管理连接。
2. 检查你的hadoopMasterIp：50070，如果所有数据节点（从机）都在运行。很明显，如果你没有在core-site.xml中更改dfs.http.address。

Answer 2

查看Yarn Web UI的最简单方法。默认情况下，它使用主节点上的端口8088（通过您自己的IP地址更改URI中的master）：

http://master:8088/cluster

在那里，您可以看到群集的总资源和所有应用程序的列表。对于每个应用程序，您都可以找到使用了多少个映射器/缩减器以及它们在哪里（在什么机器上）执行。