当我的datanode开启时,是否有任何文件要读取

时间:2016-06-05 04:47:48

标签: hadoop mapreduce

情况:   在我的测试apache hadoop中,我运行了一个MapReduce作业。   如果我的某个datanode出现故障(我从机器上取下),这个datanode正在使用我的MapReduce作业。

我的想法:   我直觉地认为,作业会运行一点点,除了它不会失败,因为文件块在其他节点中复制。

有人说我可以设置参数:

dfs.client.block.write.replace-datanode-on-failure.enable = true   的 dfs.client.block.write.replace-数据节点上-failure.best省力=真

因此,我的工作将跳过死数据节点并查看另一个可用的数据节点。

我的问题是: 有人知道文件在哪里我可以查看它并查看我的工作生命周期? 从一个死的datanode恢复另一个可用的?

首先我认为是editlog,但我无法清楚地阅读。

1 个答案:

答案 0 :(得分:0)

请检查您的datanode和namenode id是否相同。如果你检查datanode文件。然后你去datanode文件夹并转到当前目录。然后看文件。

相关问题