在单节点hadoop Cluster中未运行Wordcount作业完成设置后

时间:2011-07-31 13:16:05

标签: hadoop

  

hduser @ distributed-desktop:/ usr / local / hadoop $ bin / hadoop jar   hadoop-0.20.2-examples.jar wordcount / user / hduser / gutenberg   /用户/ hduser /古滕贝格输出

之后没有输出。

我已经安装了>>

java version "1.6.0_26"
Java(TM) SE Runtime Environment (build 1.6.0_26-b03)
Java HotSpot(TM) Client VM (build 20.1-b02, mixed mode, sharing)

我将所有内容配置为>> Single Node Cluster

当我在cmd中给出jps时,它说>>

4524 Jps
3609 NameNode
4000 JobTracker
3933 SecondaryNameNode
4433 RunJar
4159 TaskTracker

我检查了Hadoop驱动器的file.It在这个cmd之后说了

hduser@distributed-desktop:/usr/local/hadoop$ bin/hadoop dfs -ls /user/hduser/gutenberg

找到2项

drwxr-xr-x   - hduser supergroup          0 2011-07-31 18:58 /user/hduser/gutenberg/gutenberg
-rw-r--r--   1 hduser supergroup          0 2011-07-31 18:51 /user/hduser/gutenberg/pg20417.txt

下一步该做什么。

我一直在使用 Ubuntu 10.10

2 个答案:

答案 0 :(得分:4)

您的datanode未运行。这发生了相当多的时间。转到/ app / hadoop / tmp / dfs /并键入ls。 您将获得一个名为data的目录。您需要删除该文件夹的所有内容(不要删除该文件夹)。 然后格式化你的namenode类型jps和datanode应该在那里。这将使您的所有节点都运行。

答案 1 :(得分:1)

是。日志是你的第一个救世主。 检查namespaceID数据节点中是否存在名称节点/hadoop.tmp.dir/dfs/name/current下的/hadoop.tmp.dir/dfs/data/current