调整Hadoop参数

Question

是否有一种方法可以微调Hadoop配置参数，而不必为每种可能的组合运行测试？ 我目前正在研究8节点集群，我想优化map reduce任务的性能以及spark性能（在hdfs之上运行）。

Answer 1

简短的回答是“否”。您需要进行测试并运行冒烟测试，以确定集群的最佳性能。因此，我将首先查看这些

链接：

• https://community.hortonworks.com/articles/103176/hdfs-settings-for-better-hadoop-performance.html
• http://crazyadmins.com/tune-hadoop-cluster-to-get-maximum-performance-part-1/
• http://crazyadmins.com/tune-hadoop-cluster-to-get-maximum-performance-part-2/

讨论了一些将影响MapReduce作业的主题：

• 配置HDFS块大小以获得最佳性能
• 避免文件大小小于块大小
• 调整DataNode JVM以获得最佳性能
• 启用HDFS短路读取
• 避免从过时的DataNode读取或写入

---

让您了解如何在YARN / TEZ中为每个节点群集设置4节点32核心128GB RAM ：（来自Hadoop multinode cluster too slow. How do I increase speed of data processing?）

对于Tez：划分RAM / CORES =最大TEZ容器大小 因此，就我而言： 128/32 = 4GB

TEZ：

---

纱：

我喜欢运行最大RAM，我可以使用YARN在每个节点上备用，我的内存比建议的要高一些，但是建议的值会导致TEZ / MR作业崩溃，因此76GB在我的情况下效果更好。您需要使用所有这些值！