更改节点群集IP Hadoop-Yarn

Question

我遇到以下问题：这些picture描述了我在Hadoop集群上的资源管理器，在节点＆＃34;节点HTTP地址＆＃34;这些地址有两个节点

1. 本地主机：8042
2. 本地主机：8042

而不是我想要托管节点的机器的真实IP地址。我的群集配置是

1. 使用HadoopMaster和HadoopSlave1的第一台计算机
2. 使用HadoopSlave 2的第二台机器

我的/ etc / host配置在第一台机器上：

127.0.0.1       localhost vlchaosfile001 vlchaosfil001
192.168.143.91  HadoopMaster HadoopSlave2
192.168.143.92  HadoopSlave1
# The following lines are desirable for IPv6 capable hosts
::1     localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

我的/ etc / host配置在第二台机器上：

127.0.0.1 localhost vlchaosfil002
192.168.143.91  HadoopMaster HadoopSlave2
192.168.143.92  HadoopSlave1
#following lines are desirable for IPv6 capable hosts
::1     localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

这是我的yarn-site.xml：

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>HadoopMaster:8025</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>HadoopMaster:8035</value>
</property>
<property>
    <name>yarn.resourcemanager.address</name>
    <value>HadoopMaster:8050</value>
</property>

Answer 1

首先关闭：使用hadoop时禁用ipv6。

你没有发布你的Yarn配置，所以我最好的猜测就是你已经将yarn.resourcemanager.xxx设置设置为“localhost”

Answer 2

好吧，更改hadoop集群中的主机名是一项相当艰巨而又冒险的工作。从头开始考虑一个新的安装，你知道它;）

强烈建议使用FQDN代替短主机名。这是进行这种改变的好时机。

总的来说，您必须检查/更改所有配置文件，但如果您想要一个功能强大的Ambari控制台，您还必须更新ambari数据库元数据。

这是一般程序：

1. 停止群集。
2. 导出Ambari的MySQL数据库。
3. 更新MySQL导出表ambari.hosts，ambari.hoststate，ambari.ClusterHostMapping，ambari.host_role_command和ambari.hostcomponentdesiredstate
中的主机名（host_name）
4. 更新hive.DBS以获取适当的DB_LOCATION_URI和hive.SDS以获取新的主机名。
5. 重新导入数据库。
6. 将数据库访问新主机名授予MySQL支持的Hive / Metastore
7. 编辑Ambari代理ini文件和hue配置文件更新主机名。
8. 检查/更改所有配置文件，如hdfs-site，yarn-site，mapred-site等，以及不太明显的配置文件，如ambari代理，zookeeper等...
9. 启动然后停止群集以编写所有配置并查看元数据。
10. 交叉手指，最后开始。