AWS Glue DPU配置

时间:2018-02-08 11:42:37

标签: aws-glue

我看到DPU由4个vCPU组成。 16 GB内存。是否可以更改vCPU,内存的此设置,以便我不会耗尽DPU或超出DPU限制。

我认为Dev Endpoint的最大限制为5 DPU,帐户最多为2个DEV端点?

此致

YUVA

2 个答案:

答案 0 :(得分:1)

目前无法配置DPU内存,但您可以请求帐户limit increase使用更多DPU。

答案 1 :(得分:1)

截至2019年4月,有两种新型工人:

  

您现在可以在AWS Glue中为Apache Spark作业指定工作程序类型   用于内存密集型工作负载。

     

以前,AWS Glue中的所有Apache Spark作业均使用标准   每个工作节点配置1个数据处理单元(DPU),配置2个   每个节点的Apache Spark执行程序。您现在可以从两个新的   配置,G.1X和G.2X,为每个执行者提供更多的内存。

https://aws.amazon.com/about-aws/whats-new/2019/04/aws-glue-now-supports-additional-configuration-options-for-memory-intensive-jobs/