如何使用hdfs对用户ID进行分片？

Question

我想使用基于hadoop / hdfs的系统，但我有点担心，因为我认为我希望在同一台物理计算机上拥有一个用户的所有数据。有没有办法在基于hadoop的宇宙中实现这个目标？

Answer 1

在hdfs数据写入过程中，如果节点是datanode，则首先将数据块写入到客户端访问集群的节点。

为了解决您的问题。边缘节点也将是数据节点。边缘节点来自用户开始与群集交互的位置。

但是使用datanodes作为edgenodes有一些缺点。其中之一包括数据分发。数据分布不均匀，如果节点出现故障，集群重新平衡将非常昂贵。