使用Cloudera模拟Map-reduce

Question

我想使用cloudera在一台机器上模拟Hadoop作业（当然有许多VM）。我有2个问题 1）我可以在cloudera中更改HDFS的复制策略吗？ 2）我可以看到每个虚拟机的CPU使用情况吗？

Answer 1

您可以使用hadoop fs -setrep更改任何文件的复制因子。您还可以通过添加以下内容来修改hdfs-site.xml来更改默认复制因子：      <property> <name>dfs.replication</name> <value>2</value> </property>

您必须登录每个框并使用top查看每个VM的CPU使用情况。 Hadoop中没有什么可以让你看到这个。

Answer 2

我发现我可以通过更改“ReplicationTargetChooser.java”来更改数据复制策略。