在远程群集上使用Hbase运行Map Reduce

时间:2014-03-17 07:09:46

标签: hadoop hbase apache-pig bigdata

我有一个拥有某些数据的HBase集群。我还有一个hadoop集群,它也有一些数据。现在可以使用来自hbase集群的数据在hadoop集群上运行map reduce作业吗?我们怎样才能用猪做到这一点?

1 个答案:

答案 0 :(得分:1)

您将遇到的主要问题是能够通过网络直接从Mappers和Reducers访问HBase RegionServers。您的服务器是否有直接的通信线路?大多数Hadoop集群网络都已设置好,因此无法进行此类访问,并且需要某种网关。如果你确实设置了它,那么你就不应该有任何理由不能按照你的意思行事。

下一部分是否是一个好主意。两个集群之间的网络链接是什么? 1GigE?这个链接是否被其他人使用?