Question

我从一个开箱即用的配置中得到这个错误版本0.20.203.0

我应该在哪里寻找潜在的问题。大多数配置都是开箱即用的。我能够访问hdfs的本地网站，任务管理器。

我猜这个错误与cygwin和windows上的权限问题有关。此外，谷歌搜索问题，他们说可能存在某种内存不足的问题。这是一个很简单的例子，我不知道那是怎么回事。

当我尝试运行wordcount示例时。

$ hadoop jar hadoop-examples-0.20.203.0.jar wordcount / user / hduser / gutenberg / user / hduser / gutenberg-output6

I get this error:

2011-08-12 15:45:38,299 WARN org.apache.hadoop.mapred.TaskRunner:
attempt_201108121544_0001_m_000008_2 : Child Error
java.io.IOException: Task process exit with nonzero status of 127.
 at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:258)
2011-08-12 15:45:38,878 WARN org.apache.hadoop.mapred.TaskLog: Failed to
retrieve stdout log for task: attempt_201108121544_0001_m_000008_1
java.io.FileNotFoundException:
E:\projects\workspace_mar11\ParseLogCriticalErrors\lib\h\logs\userlogs\j
ob_201108121544_0001\attempt_201108121544_0001_m_000008_1\log.index (The
system cannot find the file specified)
 at java.io.FileInputStream.open(Native Method)
 at java.io.FileInputStream.<init>(FileInputStream.java:106)
 at
org.apache.hadoop.io.SecureIOUtils.openForRead(SecureIOUtils.java:102)
 at
org.apache.hadoop.mapred.TaskLog.getAllLogsFileDetails(TaskLog.java:112)
...

userlogs / job *目录为空。也许有一些许可这些目录的问题。

我在使用cygwin的Windows上运行，所以我真的不知道权限设置。

Answer 1

我无法用当前版本的hadoop找出这个问题。我从当前版本恢复并转到之前的版本，hadoop-0.20.2。我不得不使用core-site.xml配置文件和临时目录，但我最终得到了hdfs和map reduce才能正常工作。

问题似乎是cygwin，windows和我正在使用的驱动器设置。 Hadoop在尝试调用“子”map / reduce任务时启动新的JVM进程。实际的jvm execute语句在一些shell脚本中。

就我而言，hadoop无法找到shell脚本的路径。我假设状态代码127错误是Java Runtime执行没有找到shell脚本的结果。

Hadoop基本示例WordCount

1 个答案: