如何在Google云端平台的项目之间共享资源（计算引擎）

Question

我正在尝试创建原型，在这里我可以在项目之间共享资源以在google云平台上运行工作

动机：可以说有两个项目：A项目和B项目。 我想使用在项目A中创建的dataproc集群在项目B中运行作业。 该项目在GCP平台的同一组织内。

我该怎么做？

Answer 1

有几种方法可以管理跨项目的资源。可能最简单的方法是：

1. 在整个项目中创建具有适当权限的service account。
2. 使用您创建的服务帐户设置Airflow connection。
3. 您可以创建使用该连接的工作流程，然后在创建Cloud Dataproc集群时创建specify the project。

想到的替代方法：

1. 使用BashOperator或PythonOperator之类的东西来执行Cloud SDK命令。
2. 使用HTTP运算符ping您要使用的服务的REST端点

已经说过，到目前为止，使用运算符的第一种方法可能是最简单的方法，并且是进行所需操作的推荐方法。

关于Dataproc，当您创建作业时，它将仅绑定到特定项目中的集群。在一个项目中无法针对另一个项目中的集群创建作业。这是因为，当群集位于另一个项目中时，日志记录，审计和其他与作业相关的语义会变得混乱。