是否可以通过https从Google Dataflow连接到互联网？

Question

我想在继续使用ETL之前，使用管道将Google Storage中的文档发送到从中提取数据的Web服务。

Answer 1

是的，完全可以通过HTTPS从Google Cloud Dataflow连接到其他网络服务。您可以在数据流转换中向Web服务发出尽可能多的HTTPS请求。

另一方面，我建议将数据提取逻辑写为数据流转换，以获得更快的结果。在执行HTTPS请求并将文件从Google云端存储发送到Web端点（假设不存在于GCP中）时，应考虑出口成本。