Google大查询回填需要很长时间

Question

我是堆栈溢出的新手。我使用Google大查询将多个来源的数据连接在一起。我已经与Google广告建立了连接（使用来自大型查询的数据传输），并且效果很好。但是，当我对较旧的数据进行回填时，需要花费3天以上的时间才能从180天的大型查询中获取数据。 Google建议最长为180天。但是要花这么长时间。我想在过去的两年中做到这一点，并且有多个客户（我们是一家代理商）。我需要在180天的时间内完成此操作。

有人花这么长时间解决这个问题吗？

谢谢。

Answer 1

根据文档，BigQuery Data Transfer Service每个回填请求最多支持180天（如您所说），并且不支持同时回填请求[1]。

BigQuery数据传输服务限制了传入请求的最大速率，并基于每个项目[2]实施了适当的配额，并且项目中的其他BigQuery任务可能会限制传输使用的资源量。转移创建的加载作业包含在BigQuery的加载作业配额中。重要的是要考虑在每个项目中启用了多少次传输，以防止传输和其他加载作业产生quotaExceeded错误。

如果需要增加传输次数，则可以创建其他项目。 如果您想加快所有客户的转帐速度，可以将它们分成几个项目，因为这似乎是您要进行的大量转帐。