BigQuery分区表插入过去的数据

时间:2018-03-12 14:02:11

标签: google-api google-cloud-platform google-bigquery

我们希望开始使用" 分区表"在BQ 但文档(https://cloud.google.com/bigquery/docs/partitioned-tables)表示使用" 流媒体插入"可能只有

  

如果分区值过去最多7天,最多3天   未来,

在我们的例子中,我们有一些数据在过去可能有超过7天的q分区值。

我们通过BigQuery REST api保存数据

这是否意味着我们无法使用分区表,还是有其他解决方法?如何为分区表保存超出范围的数据(7天3天)?

一般来说,我们的想法是:我们有一个包含流数据的表(每分钟约100条记录),我们希望将数据直接传输到分区,然后使用分区进行分析查询

1 个答案:

答案 0 :(得分:4)

总结评论主题:

  • 除了[过去7天,未来3天]之外,无法流式传输到分区。这是与性能相关的限制,团队正在努力将其删除。

  • 解决方法:将数据流式传输到非分区表,然后从中插入分区表。