在Windows主机和Ubuntu来宾VM之间创建hadoop 2节点群集

时间:2016-10-14 13:55:25

标签: windows ubuntu hadoop cluster-computing

我有一个JAR文件,我希望在Windows主机和我的虚拟机客户机之间与Ubuntu共享。因为这两个操作系统需要共享同一个目录(目录需要两者都有相同的名称),所以我发现这样做的唯一方法是创建一个hdfs目录,即具有相同hdfs目录的2节点集群。

我已经成功为我的Windows主机和Ubuntu VM设置了一个单节点集群,并且两者都能正常工作。但是现在,我想以多种方式做到这一点。我尝试按照此链接http://doctuts.readthedocs.io/en/latest/hadoop.html#multi-node-installation中的说明操作,但它不起作用(当我启动主节点时,它不会检测VM节点。  我正确设置了SSH无密码连接,但我认为由于我的配置,它可能无法正常工作。以下是我为尝试制作2节点集群而更改的三个文件:

core-site.xml

<configuration>
  <property>

   <name>fs.default.name</name>

      <value>hdfs://192.168.1.2:54310</value> 

   </property>
 </configuration>


hdfs-site.xml


<configuration>
 <property>

   <name>dfs.replication</name>

   <value>2</value>

</property>



</configuration>


mapred-site.xml

<configuration>

  <property>
   <name>mapreduce.job.user.name</name>
   <value>%USERNAME%</value>
   </property>

    <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
     </property>

      <property>
       <name>yarn.apps.stagingDir</name>
       <value>/user/%USERNAME%/staging</value>
       </property>

        <property>
         <name>mapreduce.jobtracker.address</name>
         <value>192.168.1.2:54311</value>
         </property>
</configuration>

同样,单节点群集运行良好,但它不会检测到Ubuntu VM。

有人能帮助我吗?非常感谢你。

0 个答案:

没有答案