在GCP中，是否有规范的方法可以从API抓取数据？

Question

我正在构建一个应用程序，该应用程序将定期从多个API提取数据并将其写入云存储，以供Dataflow稍后处理。有很多不同的方法可以做到这一点，所以我想在进入之前进行健全性检查。

我的计划是这样

• 对于每个API，Cloud Scheduler都会命中App Engine应用的端点
• 该应用将使用启动脚本创建Compute Engine VM实例，该启动脚本将从API中提取数据并将其写入存储空间
• 完成后，虚拟机将在App Engine应用上点击另一个终结点，从而关闭虚拟机。

这是执行此类操作的合理方法吗？有没有更简单或更直接的方法？预先感谢您的答复。

Answer 1

您可以只使用App Engine计划作业来安排任务。您的App Engine应用cron处理程序可以简单地运行从API中提取数据的脚本。也许我缺少一些东西，为什么您需要使用Compute Engine实例来运行脚本？

Answer 2

Cloud Scheduler可以schedule Compute Engine without App Engine，但是您似乎无法使用此方法创建和删除VM。