我们将数据以以下格式存储在gcp存储区中- gs:/gcptest/Year=2020/Month=06/day=18/test1.parquet和day = 18文件夹下的文件太多。 我想在bigquery中创建一个表,其中包含文件中存在的列,并按文件路径中存在的Year,Month,Day进行分区。 这样,当我将数据加载到表中时,我只需从gcp存储桶中选择路径,然后加载数据即可,该数据将按路径上显示的Year / Month / Day值进行分区
答案 0 :(得分:1)
BigQuery支持使用默认配置单元分区布局以Avro,Parquet,ORC,CSV和JSON格式加载外部分区数据,这些数据存储在Cloud Storage中。
目前,支持仅限于BigQuery Web UI,命令行工具和REST API。
您可以在Loading externally partitioned data文档中看到更多信息
另请参阅如何Query externally partitioned data