将数据流式传输到bigquery仅返回部分数据

Question

我正在将数据流式传输到bigquery中，并且日志根本没有记录任何问题，当我运行“ SELECT * FROM datatable WHERE _PARTITIONTIME = TIMESTAMP（“ 2018-11-05”）LIMIT 1000“时，它仅返回16行，随着新数据的流入，行数据不断变化，但仅返回16行。

Streaming缓冲区统计信息显示缓冲区中有行。

我将在10个小时前开始直播，因此我认为会有一些数据可以访问。

我在这里有点茫然，因为我看不到错误

这是收集的一些示例数据

https://docs.google.com/spreadsheets/d/1Svm6cDWzSvD0RHGo_O5J16UDvqFfDAK5irNki5nYtos/edit?usp=sharing

Answer 1

来自the documentation：

  

在流式传输到分区表时，流式缓冲区中的数据的_PARTITIONTIME伪列的值为NULL。

您应将过滤器更改为：

WHERE _PARTITIONTIME IS NULL OR _PARTITIONTIME = TIMESTAMP "2018-11-05"

这将包括指定日期以及流缓冲区中当前日期的数据。