Hadoop - 设置单节点集群的问题

时间:2015-12-28 20:11:35

标签: java hadoop tcp

我正在尝试按照本文设置Hadoop单节点集群 -

http://www.bogotobogo.com/Hadoop/BigData_hadoop_Install_on_ubuntu_single_node_cluster.php

Everthing看起来不错,但是当启动hadoop并列出所有端口时,我看到很少有丢失。

这些是我机器上的端口。 tcp 0 0 0.0.0.0:8088 0.0.0.0:* LISTEN 1001 50434 5765 / java
tcp 0 0 0.0.0.0:50010 0.0.0.0:* LISTEN 1001 45587 5461 / java
tcp 0 0 0.0.0.0:50075 0.0.0.0:* LISTEN 1001 45594 5461 / java
tcp 0 0 0.0.0.0:8030 0.0.0.0:* LISTEN 1001 47365 5765 / java
tcp 0 0 0.0.0.0:8031 0.0.0.0:* LISTEN 1001 47353 5765 / java
tcp 0 0 0.0.0.0:8032 0.0.0.0:* LISTEN 1001 47373 5765 / java
tcp 0 0 0.0.0.0:8033 0.0.0.0:* LISTEN 1001 50861 5765 / java
tcp 0 0 0.0.0.0:40641 0.0.0.0:* LISTEN 1001 50843 5885 / java
tcp 0 0 0.0.0.0:50020 0.0.0.0:* LISTEN 1001 46697 5461 / java
tcp 0 0 0.0.0.0:8040 0.0.0.0:* LISTEN 1001 50850 5885 / java
tcp 0 0 0.0.0.0:8042 0.0.0.0:* LISTEN 1001 50854 5885 / java
tcp 0 0 0.0.0.0:50090 0.0.0.0:* LISTEN 1001 46221 5610 / java

这是链接中的列表。

hduser @ laptop:〜$ netstat -plten | grep java (并非所有流程都可以识别,非自有流程信息  不会显示,你必须是root才能看到这一切。) tcp 0 0 0.0.0.0:50020 0.0.0.0:* LISTEN 1001 1843372 10605 / java
tcp 0 0 127.0.0.1:54310 0.0.0.0:* LISTEN 1001 1841277 10447 / java
tcp 0 0 0.0.0.0:50090 0.0.0.0:* LISTEN 1001 1841130 10895 / java
tcp 0 0 0.0.0.0:50070 0.0.0.0:* LISTEN 1001 1840196 10447 / java
tcp 0 0 0.0.0.0:50010 0.0.0.0:* LISTEN 1001 1841320 10605 / java
tcp 0 0 0.0.0.0:50075 0.0.0.0:* LISTEN 1001 1841646 10605 / java
tcp6 0 0 ::: 8040 ::: * LISTEN 1001 1845543 11383 / java
tcp6 0 0 ::: 8042 ::: * LISTEN 1001 1845551 11383 / java
tcp6 0 0 ::: 8088 ::: * LISTEN 1001 1842110 11252 / java
tcp6 0 0 ::: 49630 ::: * LISTEN 1001 1845534 11383 / java
tcp6 0 0 ::: 8030 ::: * LISTEN 1001 1842036 11252 / java
tcp6 0 0 ::: 8031 ::: * LISTEN 1001 1842005 11252 / java
tcp6 0 0 ::: 8032 ::: * LISTEN 1001 1842100 11252 / java
tcp6 0 0 ::: 8033 ::: * LISTEN 1001 1842162 11252 / java

我想念的几件重要的事情是50070用于门户网站。

1 个答案:

答案 0 :(得分:1)

您可以使用jps命令检查正在运行的Hadoop进程。

这将显示进程名称,如NameNode,ResourceManager等,前面是进程ID。 例如:

7413 Jps
38754 ResourceManager
37054 NameNode
37338 SecondaryNameNode

这告诉您Namenode和资源管理器是活动的。 然后,您可以使用netstat检查这些进程正在使用哪些端口。例如:

netstat -lnptu |grep 37054
(Not all processes could be identified, non-owned process info
 will not be shown, you would have to be root to see it all.)
tcp        0      0 127.0.0.1:9000         0.0.0.0:*                   LISTEN      37054/java
tcp        0      0 127.0.0.1:50070        0.0.0.0:*                   LISTEN      37054/java

可以通过在正确的配置文件中设置适当的配置参数来更改端口。