BigQuery - 使用并行分页检索大量行

时间:2016-11-02 12:15:26

标签: google-bigquery

我需要尽快检索大型查询结果。 BQ允许顺序分页,但需要花费太多时间(10分钟内200K行)。

是否可以进行并行分页,如果可行,性能是否会根据并行请求的数量实际提高?

1 个答案:

答案 0 :(得分:1)

您可能知道您的查询结果是以匿名方式写入表中的,或者您可以为其指定一个永久性的名称。

拥有该表后,您可以使用tabledata.list API调用从中获取数据。在可选参数下,您将看到一个startIndex参数,您可以将其设置为您想要的任何参数,并且可以在您的分页脚本中使用。

您可以使用不同的偏移来运行并行API调用,从而加快您的请求速度。如果数据太大,请确保您没有遇到错误。

https://cloud.google.com/bigquery/docs/reference/rest/v2/tabledata/list