将数据从BQ移至本地SQL Server RelationalDB

Question

有人可以帮助我了解如何将数据从BQ（OLAP）移至本地SQL Server RelationalDB（OLTP）吗？这将是一次回填过程，然后是每个月的重复过程。在详细介绍之前，我想指出，我们还没有准备好花钱购买CloudSQL或BigData，因此我们决定可以将BQ中存在的分析数据移至RelationalDB，因为公共站点将读取处理后的数据。来自RelationalDB。

我想到了两种方法：

1. 微服务可以有一个石英作业，该作业从BQ读取数据以添加到RelationalDB，但是，效率如何？
2. ETL流程从BQ读取数据并将其保存到RelationalDB。
3. 将数据作为json文件从BQ保存到云存储中，然后读取该文件，然后进行处理并将其保存在RelationalDB中（可以通过服务或ETL过程完成）

有人能提出其他建议吗？

Answer 1

为了提高效率，我可以建议这个过程

• Extract the BigQuery data并将其另存为CSV
  • 如果数据太大。在BigQuery中使用要导出的数据创建一个临时表，然后使用BigQuery storage API将整个表的内容以CSV格式导出到Storage。
• 在SQL Server上，将CSV导入临时表中（快速高效）
• 在临时表和真实表之间执行ETL并通过SQL查询进行合并插入
• 删除临时表