更新hadoop HDFS文件

Question

我是Hadoop的新手。我一直在读HDFS主要是“写一次，随时阅读”。我有一个用例，我可能需要修改存储在HDFS中的文件。我一直在研究是否有任何方法可以做到这一点。

我的问题是可以将HDFS文件加载到HBase中，进行修改，然后将其保存回HDFS，并删除原始文件。如果可行，请告诉我。

Answer 1

如果您需要更新文件中的值，则可以更好地使用HBase。您仍然可以通过TableInputFormat和TableOutputFormat在MR作业中使用HBase表。如果要附加数据，可以使用任何支持hdfs附加的hadoop版本，例如0.20.205.0。