使用boto3并行化同步Lambda的最佳方法是什么?

时间:2019-05-10 17:11:15

标签: python aws-lambda multiprocessing

我有一个庞大的数据集,我想将数据集中的每个示例传递给同步Lambda函数。现在,如果我在一个简单的for循环中运行它,将需要很长时间,因为我需要等待每个Lambda的响应转到下一个示例。因此,我想利用Lambda的可伸缩性,将我的数据集分为几个块,以便对这些块进行并行评估。

具有以下特征:

r = client.invoke(
    FunctionName=LAMBDA_NAME,
    InvocationType=INVOCATION_TYPE,
    Payload=json.dumps({'body': payload})
) 

例如,仅通过在invoke内部运行joblib.Parallel函数来完成这种并行化的最佳选择吗?

或者也许有某种方法可以向Lambda发送一批有效载荷?

0 个答案:

没有答案