Question

我正在尝试使用python api从BigQuery表导出数据。表包含1到4百万行。所以我将maxResults参数保持为最大值，即100000，然后进行分页。但问题是，在一个页面中，我只获得2652行，因此分页数量太多。任何人都可以提供这个或解决方案的理由。格式为JSON。或者我可以在不使用GCS的情况下将数据导出为CSV格式吗？

我尝试插入作业并保留allowLargeResults =true，但结果保持不变。

以下是我的查询正文：

queryData = {'query':query,
                     'maxResults':100000,
                     'timeoutMs':'130000'}

提前致谢。

Answer 1

您可以尝试使用bq命令行工具https://cloud.google.com/bigquery/bq-command-line-tool，而不使用GCS从表中导出数据：

bq --format=prettyjson query --n=10000000 "SELECT * from publicdata:samples.shakespeare"

您也可以根据自己的需要使用--format=json。

Answer 2

实际页面大小不是由行数决定的，而是由给定页面中这些行的大小决定的。我认为这大概是10MB左右除上述标准外，用户还可以使用maxResults限制页面中的行

BigQuery表数据导出

2 个答案: