适用于Windows的Hadoop性能监控工具

Question

用于监视Windows中Hadoop集群性能的任何工具。我们在Windows单节点集群上安装了Hortonworks HDP 2.2.0并测试了我们的jar。我们能够在26分钟内处理500万条记录。现在我们已经建立了一个包含4个从机和1个名称节点的集群。虽然每台机器的RAM都是8 Gigs，但我们只是在做一个概念验证。我们发现集群中的处理时间没有任何改善。有没有指出问题的工具。所有可用的都是为Linux编写的。

谢谢， 基肖尔马布。

Answer 1

对于Hadoop来说，500万条记录听起来不是很多。您在gb中的数据大小是多少？

我不知道任何适用于Windows的Hadoop监控工具，但您应该从基础开始 - 您的数据是否可拆分？查看资源管理器的视图 - 您为map-reduce应用程序设置了多少个容器？它们是在所有机器上分发的吗？ （容量调度程序往往不会将负载分配到多台机器上，如果它可以将所有负载分配到一台机器上）。每个任务尝试的CPU使用率，每次任务尝试？

您还应该存储，比较和分析Windows性能计数器 - cpu，i / o，network以查看是否存在任何瓶颈。

Answer 2

您可能不需要Windows本机工具来表示您正在寻找的各种性能指标。如果您正在使用YARN，MapReduce或HDFS的性能指标，则可以从每个技术人员公开的Web界面/ HTTP端点开始收集每种技术的指标。

例如，使用HDFS，您可以从NameNode和DataNodes via HTTP收集指标。此外，您可以访问全套指标via JMX，但该选项需要更多配置。

我用原生工具写了guide to collecting Hadoop performance metrics，你可能觉得它很有用。它详细介绍了收集MapReduce，YARN，HDFS和ZooKeeper的指标的方法。