Hadoop JUnit测试写入/读取hdfs

Question

我编写了一个从hdfs写入和读取的类。给定实例化这些类时发生的某些条件，它们会创建一个特定的路径和文件，并向其写入（或者它们将转到先前创建的路径和文件并从中读取）。我已经通过运行一些hadoop作业来测试它，它似乎运行正常。

但是，我希望能够在JUnit框架中测试它，但是我没有找到一个很好的解决方案，能够在JUnit中测试读取和写入hdfs。我很感激有关这个问题的有用建议。谢谢。

Answer 1

我自己还没试过，但我相信你要找的是org.apache.hadoop.hdfs.MiniDFSCluster。

它位于hadoop-test-.jar中，而不是hadoop-core-.jar。我想Hadoop项目在内部使用它进行测试。

这是：

http://svn.apache.org/viewvc/hadoop/hdfs/trunk/src/test/hdfs/org/apache/hadoop/hdfs/MiniDFSCluster.java?revision=1127823&view=markup&pathrev=1130381

我认为在同一目录中有很多用途，但这里有一个：

http://svn.apache.org/viewvc/hadoop/hdfs/trunk/src/test/hdfs/org/apache/hadoop/hdfs/TestWriteRead.java?revision=1130381&view=markup&pathrev=1130381