标签： google-bigquery amazon-redshift python-bigquery
我需要将bigquery表移至redshift。
目前，我有一个python作业正在从redshift获取数据，并且它是将数据增量加载到redshift上。
此python作业正在读取bigquery数据，在服务器中创建一个csv文件，在s3上将其删除，而readshift表从s3上的文件中读取数据。但是现在时间会很大，因此服务器将无法处理它。
你们碰巧知道比这更好的东西吗？
我需要移动的bigquery上的新7个表，每个大约1 TB，并设置了重复的列。 （我正在进行不必要的连接以使其扁平化）
答案 0 :(得分：0)
您实际上可以按照here的说明将数据从Big Query移到Cloud Storage Bucket。之后，您可以通过运行以下命令轻松地将数据从Cloud Storage存储桶移动到Amazon s3存储桶：
gsutil rsync -d -r gs://your-gs-bucket s3://your-s3-bucket
有关此文档，请参见here