如何从按年/月/日划分的存储桶中将数据加载到bigquery中

时间:2020-06-18 08:57:51

标签: google-bigquery

我们将数据以以下格式存储在gcp存储区中- gs:/gcptest/Year=2020/Month=06/day=18/test1.parquet和day = 18文件夹下的文件太多。 我想在bigquery中创建一个表,其中包含文件中存在的列,并按文件路径中存在的Year,Month,Day进行分区。 这样,当我将数据加载到表中时,我只需从gcp存储桶中选择路径,然后加载数据即可,该数据将按路径上显示的Year / Month / Day值进行分区

1 个答案:

答案 0 :(得分:1)

BigQuery支持使用默认配置单元分区布局以Avro,Parquet,ORC,CSV和JSON格式加载外部分区数据,这些数据存储在Cloud Storage中。

目前,支持仅限于BigQuery Web UI,命令行工具和REST API。

您可以在Loading externally partitioned data文档中看到更多信息
另请参阅如何Query externally partitioned data

相关问题