将数据从Redshift迁移到BigQuery

Question

我想将大约100个表中的1 TB数据从Redshift迁移到BigQuery。

此数据迁移是否有任何工具？如果有像'pgloader＆＃39; （用于从MySQL迁移到PostgreSQL）可用它会节省很多时间吗？

Answer 1

我在GitHub上有两个开源替代品：

• https://github.com/iconara/bigshift
• https://github.com/uswitch/bqshift

两者似乎维护得很好，而bigshift已经存在了很长时间，并显示了更完整的文档（目前）。

引用bigshift文档，了解该工具在执行此迁移时非常有用的原因：

  

Redshift的UNLOAD生成的CSV无法加载到BigQuery no   无论你在两端指定什么选项。 Redshift可以引用所有内容   字段或无，但BigQuery不允许非字符串字段   引。布尔值和时间戳的格式不兼容，并且   他们希望引用字段中的引号能够以不同的方式进行转义   一些事情。

     

这意味着BigShift的很多功能都是确保数据   从Redshift转储的与BigQuery兼容。去做这个   它读取表模式并转换不同的数据类型   数据被转储。报价被转义，时间戳格式化等等   上。