EMR - 利用现场实例

时间:2012-12-23 21:13:57

标签: amazon-ec2 mapreduce elastic-map-reduce emr

我知道我们可以针对现场实例出价并以低于常规实例的价格获得它们,但是对于现货实例,存在实例被收回的风险。

我想知道有什么方法可以确保只有在我们的工作完成后才会被带走?

1 个答案:

答案 0 :(得分:5)

“确保”的唯一方法是投标非常非常高的价值!

但实际上,如您所知,如果您请求现货实例,请记住,如果当前现货价格超过您的最高出价,则不会配置任何实例,也不会从当前工作流程中删除这些实例。为了对冲完全丢失的作业流,可以创建多个实例组,其中CORE组是传统按需系统的较小补充,TASK组是点实例组。在此配置中,TASK组只会使作业流的映射器阶段受益,因为来自TASK组的工作会“备份”到CORE组进行还原。

所以说如果你必须运行一个理想情况下需要40台奴隶机器的工作,那么你可以说10台机器(CORE组)作为传统实例,而其他30台作为现场实例(TASK组)。创建多个实例组的语法如下:

elastic-mapreduce --create --alive --plain-output
...
--instance-group master --instance-type m1.small --instance-count 1 \
--instance-group core   --instance-type m1.small --instance-count 10 \
--instance-group task   --instance-type m1.small --instance-count 30 --bid-price 0.018
相关问题