我有一个Hadoop集群，头节点作为主节点，另外7个节点配置为从节点，每个节点有8个内核和8 GB内存。我正在改变参数“mapred.tasktracker.map.tasks.maximum”和从站配置文件中的从站数量。现在，如果我的程序必须运行说40个任务，我可以看到在某个日志文件或某个地方的每个单独的从属节点上运行了多少个任务？基本上，我正在寻找不同节点之间的Map任务分配。
答案 0 :(得分：1)
您可以安装Ganglia来监控来自jobtracker的统计信息。我在我的集群上做了这个，它很容易安装。它还允许您监视每个节点上的负载，交换，磁盘，内存使用情况等。
请参阅此处的说明：http://wiki.apache.org/hadoop/GangliaMetrics
GOTCHA ALERT：如果您正在安装Ganglia，您可能会获得3.1版本。请确保使用org.apache.hadoop.metrics.ganglia.GangliaContext31而不是他们在该页面上拥有的内容。
答案 1 :(得分：1)
最简单的方法是使用Hadoop系统附带的Web界面。
在您的网络浏览器中，输入： jobtrack-machine-hostname：50030 例如： localhost：50030
你会得到你想要的东西。