在HDP 2.6.3中，Spark 2.2和Zeppelin 0.7.3我收到此错误：
java.lang.IllegalArgumentException: Required executor memory (12288+384 MB) is above
the max threshold (8192 MB) of this cluster! Please check the values of
'yarn.scheduler.maximum-allocation-mb' and/or 'yarn.nodemanager.resource.memory-mb'.
yarn.nodemanager.resource.memory-mb达到最大值（8GB）。
我有4个节点，每个16GB，所以我有yarn.scheduler.maximum-allocation-mb = 14.25GB。
我试过了：
export ZEPPELIN_JAVA_OPTS="-Dspark.executor.memory=2g -Dspark.cores.max=7"
没有运气。
问题是12288，我该如何减少？
TIA！
答案 0 :(得分：0)
您始终可以提升yarn.nodemanager.resource.memory-mb，该yarn.scheduler.maximum-allocation-mb应与val onChange = {
a:Int,b:Int->
println("I am calculating the sale => no body you guy [$x+$y]");
//works
}
val add = { a:Int ,b : Int ->
println("Sunm ${a+b}")
//How do i return from this function
}
Log.v("Response", add(4,3))
相同。 8 GB是默认值，而不是最大值