无法在猪

Question

我正在尝试转储关系，但却遇到了错误。

我已尝试start-all.sh并尝试使用hadoop namenode -format格式化namenode。

但我没有弄错。

Error:-
Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

Answer 1

我首先要确保我能够从边缘节点上的hdfs客户端连接到namenode。如果没有与namenode的某些问题/不一致，请在core-site.xml文件中使用ports或hostname进行配置。

一旦你能够在没有任何问题的情况下运行，并确保name {0}上的namenode不处于安全模式（这会阻止任何写入）

hadoop fs -ls /

然后我会继续猪。看起来基于您的错误hdfs客户端由于某些可能是防火墙或配置问题的原因无法访问namenode。

Answer 2

启动for i in links.readlines(): try: link = urlopen(i) except (HTTPError, URLError) as e: print(e.reason) else: <Code Goes Here>

JobHistoryServer

以$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver 模式运行时，猪可以使mapreduce可用。

要配置JobHistoryServer，请将这些属性添加到JobHistoryServer，将主机名替换为启动进程的主机的实际名称

mapred-site.xml