Hadoop / Hive集群。只有一个节点利用率

Question

我有一个小的hadoop / hive集群（总共6个节点）。 使用“hadoop dfsadmin -report”我看到datanode运行良好且连接正常。 另外，当我在hive表中添加数据时，我可以看到数据正在被分发 整个节点。 （随着磁盘空间的增加，易于检查。）

我正在尝试在一个表上创建一些索引。从jobtracker http界面，我看到只有一个节点可用。我试图运行多个查询（我使用mysql作为元数据），但它们似乎只在安装了配置单元的节点上运行。

基本上我的问题是如何让jobtracker也使用其他节点。

Answer 1

从你所说的看起来：
Datanode在所有节点上正常运行，并且能够与namenode通信 任务跟踪器未在除一个节点之外的所有节点上运行，或者由于某种原因无法与作业跟踪器通信。
在检查任务跟踪器确实正在运行之后 - 阅读他们的日志以找出与JobTracker进行通信的问题。