我们希望开始使用" 分区表"在BQ 但文档(https://cloud.google.com/bigquery/docs/partitioned-tables)表示使用" 流媒体插入"可能只有
如果分区值过去最多7天,最多3天 未来,
在我们的例子中,我们有一些数据在过去可能有超过7天的q分区值。
我们通过BigQuery REST api保存数据
这是否意味着我们无法使用分区表,还是有其他解决方法?如何为分区表保存超出范围的数据(7天3天)?
一般来说,我们的想法是:我们有一个包含流数据的表(每分钟约100条记录),我们希望将数据直接传输到分区,然后使用分区进行分析查询
答案 0 :(得分:4)
总结评论主题:
除了[过去7天,未来3天]之外,无法流式传输到分区。这是与性能相关的限制,团队正在努力将其删除。
解决方法:将数据流式传输到非分区表,然后从中插入分区表。