是否可以通过AWS SWF和Lambda函数运行Python Web scraper？

Question

我制作了一个Python网络刮刀，用于从网上下载超过4PB到8PB的数据。我必须每秒运行超过1k +蜘蛛才能从12个网站下载数据。如果我使用ec2实例，那将是非常昂贵的。有人告诉我使用SWF和lambda。但我在网上找不到任何关于使用SWF的网络刮刀的内容。

是否可以通过Amazon Simple Workflow Service或AWS Lambda运行此蜘蛛？

Answer 1

如果您的刮刀需要下载大量数据，我不确定您是否可以使用lambda。

查看AWS Lambda Limits

EC2 Spot Instances怎么样？您仍然可以使用有效成本的ec2实例。