YARN预留内存问题

时间:2017-08-30 08:49:42

标签: yarn google-cloud-dataproc

当使用带有YARN的FIFO调度程序(FIFO是默认的吗?)时,我发现YARN保留了一些内存/ CPU来运行应用程序。我们的应用程序不需要保留任何这些,因为我们需要固定数量的核心来执行任务,具体取决于用户的帐户。这个保留的内存使我们的计算不准确,所以我想知道是否有任何方法可以解决这个问题。如果无法删除,我们正在尝试扩展集群(我们在GCP上使用数据交换),但如果没有优雅的解除授权,缩小集群就会关闭作业。

  1. 有没有办法摆脱保留的内存?

  2. 如果没有,有没有办法对纱线进行优雅的退役 2.8.1?我发现3.0.0 alpha的情况(GCP只有beta版),但找不到2.8.1的任何工作指令。'

  3. 提前致谢!

1 个答案:

答案 0 :(得分:0)

关于2,Dataproc支持YARN graceful decommissioning,因为Dataproc 1.2使用Hadoop 2.8。