我正在尝试使用Spark对Azure群集上的程序进行基准测试。我们之前在EC2上运行过这个，并知道150 GB的RAM就足够了。我已经为执行程序尝试了多个设置，并为它们提供了160-180GB的RAM，但无论我做什么，程序都会因执行程序请求更多内存而死亡。
我该怎么办？是否有更多的启动选项我应该考虑，我已经尝试了所有可想到的执行器设置，似乎没有什么想要工作。我完全失去了。
答案 0 :(得分：0)
对于您的命令，您指定了7个执行程序，每个执行程序都有40g内存。这总共有280G的内存，但是你说你的集群只有160-180G的内存？如果只需要150G的内存，为什么spark-submit配置成这样？
您的HDI群集节点类型是什么以及您创建了多少节点类型？
你以前在EC2上使用过YARN吗？在这种情况下，配置是否相同？