导出或传输6gb Google大查询表以便在mysql中使用的最佳方法是什么？

Question

我正在尝试导出表格为6gb的大查询结果。谷歌每个文件的限制为1GB，还有另一种移动整个文件的方法吗？我需要将它放入MySql表中。谢谢！

Answer 1

您阅读的限制仅适用于单个文件，还有其他方法可以导出无限大小。

有三种导出数据的方法：

1. 单个URI（1个文件，限制1GB，很可能你正在使用它）

  

[＆＃39; GS：//my-bucket/file-name.json']

     

创建：

     

GS：//my-bucket/file-name.json

1. 单个通配符URI（每个1GB创建多个文件）

  

[＆＃39; GS：//my-bucket/file-name-*.json']

     

创建：

     

GS：//my-bucket/file-name-000000000000.json
  GS：//my-bucket/file-name-000000000001.json
  gs：//my-bucket/file-name-000000000002.json ...

1. 多个通配符URI（这需要Hadoop）

  

gs：// my-bucket / file-name- {worker number} - * .json

     

创建：

     

此示例假定BigQuery在每个文件中创建80个分片文件   分区。

     

GS：//my-bucket/file-name-1-000000000000.json
  GS：//my-bucket/file-name-1-000000000001.json
  ...
  GS：//my-bucket/file-name-1-000000000080.json
  GS：//my-bucket/file-name-2-000000000000.json
  GS：//my-bucket/file-name-2-000000000001.json
  ...
  GS：//my-bucket/file-name-2-000000000080.json
  GS：//my-bucket/file-name-3-000000000000.json
  GS：//my-bucket/file-name-3-000000000001.json
  ...
  gs：//my-bucket/file-name-3-000000000080.json

阅读更多内容：

https://cloud.google.com/bigquery/exporting-data-from-bigquery#exportingmultiple