Bigquery流:'由于超时而未能插入XX行'

时间:2014-08-18 13:15:45

标签: google-bigquery

最近几天,我们的流式传输遇到了

"Failed to insert XX rows. First error: {"errors":[{"reason":"timeout"}],"index":YY}"  

在过去半个月内,从未更改的数据源和程序脚本连续流式传输,之前未发现此类故障。

项目编号:red-road-574

2 个答案:

答案 0 :(得分:4)

我们刚刚在周末推出了一项更改,可以显着降低您遇到的超时次数。

在过去几周内,TableData.insertAll API的客户负载大幅增加。虽然我们应该能够毫无问题地处理该负载,但它已经暴露了我们一直在努力解决的系统中的几个瓶颈。从我们的监测来看,截至昨天晚上看起来延迟应该恢复正常。如果您继续看到超时,请告诉我们。

答案 1 :(得分:4)

BigQuery团队成员在这里。

看起来我们的文档有点不正确,因为我们可以部分提交行。如果存在无效行(结构不匹配),我们将完全拒绝该请求,但是单个行可能无法缓冲。

在这种情况下,只有指示的行无法提交。如果您有插入ID,则只需重试失败的行,或者根据需要重试完整的请求(尽管每个重试的行都将计入您的表配额)。

这些行级错误的增加是由于我们处理批量插入的方式发生了变化。以前,整个请求都会遇到超时。

希望有所帮助。 肖恩

相关问题