我有一个庞大的数据集,我想将数据集中的每个示例传递给同步Lambda函数。现在,如果我在一个简单的for
循环中运行它,将需要很长时间,因为我需要等待每个Lambda的响应转到下一个示例。因此,我想利用Lambda的可伸缩性,将我的数据集分为几个块,以便对这些块进行并行评估。
具有以下特征:
r = client.invoke(
FunctionName=LAMBDA_NAME,
InvocationType=INVOCATION_TYPE,
Payload=json.dumps({'body': payload})
)
例如,仅通过在invoke
内部运行joblib.Parallel
函数来完成这种并行化的最佳选择吗?
或者也许有某种方法可以向Lambda发送一批有效载荷?