Question

我们在AWS中配置了11个节点（1个主机+10个核心）EMR集群。我们为每个节点选择了100 GB的磁盘空间。

配置群集时，EMR仅自动为根分区（/ dev / xvda1）分配10GB。几天后，根分区磁盘空间变满，因此我们无法运行任何作业或使用yum命令安装git等基本软件。

[hadoop@<<ip address>> ~]$ df -BG
Filesystem     1G-blocks  Used Available Use% Mounted on
devtmpfs             79G    1G       79G   1% /dev
tmpfs                79G    0G       79G   0% /dev/shm
/dev/xvda1           10G    10G       0G  100% /
/dev/xvdb1            5G    1G        5G   4% /emr
/dev/xvdb2           95G   12G       84G  12% /mnt
/dev/xvdf            99G   12G       83G  12% /data

您能帮助我们，如何解决此问题？

如何将根分区（/ dev / xvda1）磁盘空间增加到30GB？
默认情况下，使用yum或rpm的所有安装都将转到root分区（/ dev / xvda1）。如何绕过安装到root分区（/ dev / xvda1）的软件？
无论解决方案是什么，都不应该干扰现有的EMR安装。

非常感谢帮助。

Answer 1

所有EMR AMI都具有10GB的固定根容量，因此将是EMR群集的所有ec2实例。您在EMR上选择的所有应用程序都将安装在此根卷上，并且预计占用此磁盘的大约90％。此时，既不会增加此卷大小也不会更改应用程序安装行为。因此，您应该避免使用此根卷来安装应用程序，而是将您的自定义应用程序安装在更大的卷上，例如/ mnt /。您还可以将一些根目录符号链接到更大的卷，然后安装您的应用程序。

Answer 2

似乎/var/aws/emr/packages占用了大部分空间（30％）。如果此文件夹可以是rm -rf /var/aws/emr/packages，或者应该符号链接到/mnt，请点击该ID，但删除它似乎对我有效。

Answer 3

最近遇到了同样的问题。找到相应的ec2实例，然后在描述选项卡中找到并单击链接根设备。它指向一个EBS ID，单击它。在操作中，单击修改音量。请求所需的总空间后。您可能需要额外运行“ growpart”之类的命令，以使操作系统调整到新的大小。

Answer 4

在启动EMR集群时，还可以增加

EBS根卷大小。默认为10GB

一旦EMR启动并运行，我们也可以增加根卷。请参阅此AWS博客-> https://aws.amazon.com/premiumsupport/knowledge-center/ebs-volume-size-increase/

AWS EMR群集中的磁盘空间问题

4 个答案: