我正在尝试在Hortonworks集群上运行一个简单的Spark作业。
我只是从指标看到，在运行我的作业之前，从640gb内存使用量中有310gb。但是，当我运行我的工作时，它从440gb变为324gb。
我的工作只需要从群集中获取12gb，但不确定为什么在运行作业时群集的总可用内存会减少。
根据Ambari仪表板在纱线记忆面板中报告的指标，它是640gb中的第一个324gb，然后是440gb中的324gb，320gb中的324gb，然后是328gb中的324gb。我不知道我们的群集上有任何配置，但是这可能是由于配置将纱线内存的使用限制在阈值以下？