流式传输到BQ分区表

时间:2016-07-28 16:40:16

标签: google-bigquery google-cloud-dataflow

我正在尝试使用数据流流入BQ分区表。 文档说:

  

流式缓冲区中的数据对于_PARTITIONTIME列具有NULL值。

我可以看到将行插入日期分区表时的情况。

有没有办法能够设置我想插入的行的分区时间,以便BigQuery可以推断出正确的分区?

到目前为止,我已尝试过:tableRow.set("_PARTITIONTIME", milliessinceepoch); 但我遇到了no such field例外。

2 个答案:

答案 0 :(得分:1)

从大约一个月前开始,您可以流式传输到日期分区表的特定分区。例如,要在表T中插入日期20160501的分区,可以使用表名T$20160501调用insertall

答案 1 :(得分:0)

AFAIK,在写作时,BigQuery不允许每行手动指定分区 - 从插入时开始推断。

但是,作为BigQuery内置分区表功能的替代方案,您可以使用Dataflow的功能同时流式传输到多个BigQuery表:请参阅Sharding BigQuery output tables