Google数据流失败

时间:2015-04-14 23:43:41

标签: google-cloud-dataflow

暂时测试数据流,今天我遇到了一些失败,错误消息是:

原因:(b8a42e32d0888f60):无法从gs:// clickstream_current / tmp / dataflow / staging / clickstream / 8977742977819433140 / dax-tmp-2015-04-14_15_58_06-5441905562239213266-S01-1-e70068cb69ef966a / @重命名输出文件DAX.json to gs://clickstream_current/tmp/dataflow/staging/clickstream/8977742977819433140/@*.json。原因:(b8a42e32d0888fdb):无法重命名“gs:// clickstream_current / tmp / dataflow / staging / clickstream / 8977742977819433140 / dax-tmp-2015-04-14_15_58_06-5441905562239213266-S01-1-e70068cb69ef966a / -shard-00000-of -00940-endshard.json“to”gs://clickstream_current/tmp/dataflow/staging/clickstream/8977742977819433140/-00000-of-00940.json。

这可能是GCS问题吗?除了失败之外,还有警告抱怨“无法从GCS文件夹中删除临时文件”我可以做些什么来避免它?

1 个答案:

答案 0 :(得分:1)

我们在服务中发现了一个在某些罕见情况下会导致此失败的问题。我们正在努力解决这个问题。在此期间,我们对给您带来的不便深表歉意。如果您使用BigQueryIO.Write输出数据,则更有可能出现错误。