DataflowRunner管道错误-无法重命名

Question

我的DataFlow作业从GS存储桶中读取一个CSV文件，查询另一服务以获取额外的数据并将其写入新的CSV文件并存储回存储桶中，但似乎在开始抓取输入CSV文件之前就掉了。 ..

这是我得到的错误： DataflowRuntimeException-数据流管道失败。状态：失败，错误： Unable to rename "gs://../../job.1582402027.233469/dax-tmp-2020-02-22_12_07_49-5033316469851820576-S04-0-1719661b275ca435/tmp-1719661b275ca2ea-shard--try-273280d77b2c5b79-endshard.avro" to "gs://../../temp/job.1582402027.233469/tmp-1719661b275ca2ea-00000-of-00001.avro".

有什么想法会导致此错误？

here is a print screen

Answer 1

通常，该错误是由于您在DataFlow作业中使用的服务帐户没有正确的GCS（Google云存储）权限而导致的。

您应在服务帐户中添加“ roles/storage.objectAdmin”之类的角色，以允许与GCS进行交互。