Hadoop单节点集群减慢AWS实例速度

Question

快乐的丑陋的圣诞节毛衣日：-）

我的运行Hadoop 2.9.2的AWS Linux 16.04实例遇到一些奇怪的问题。 我刚刚成功安装并配置了Hadoop以使其在模拟分布式模式下运行。一切似乎都很好。当我启动hdfs和yarn时，没有任何错误。但是，只要我尝试执行甚至只是列出根hdfs目录的内容或创建新目录之类的简单操作，整个实例就会变得非常慢。我等待了大约10分钟，但它从未产生过目录列表，因此我按了Ctrl + C，又花了5分钟取消了该过程。然后，我尝试同时停止hdfs和yarn，它虽然成功，但也需要很长时间才能完成。即使在hdfs和yarn停止后，该实例仍几乎没有响应。在这一点上，我要做的就是使它再次正常运行，是转到AWS控制台并重新启动它。 有谁知道我可能搞砸了什么（我很确定这是我做的。通常是:-)）？ 谢谢。

Answer 1

好吧，我想我想出了什么问题了，答案很简单。基本上，我的ec2实例没有足够的RAM。这是符合基本免费套餐标准的实例，默认情况下仅配备1GB RAM。搞笑完全没用。 但是我还是学到了一些有用的东西。为了使Hadoop安装正常工作（我收到“连接被拒绝”错误，但确实使其正常工作），我要做的另一件事是在core-site.xml文件中，我必须更改表示以下内容的行

*.yml

到

src/main/resources

（将上面的XXX替换为您实例的IP地址）