将大型(50gb)csv文件导入Azure数据库的最快方法

时间:2020-02-21 22:08:01

标签: sql database azure ssms bcp

我刚刚将100个csv.file合并为一个单个怪物文件,总大小约为50gb。

我现在需要将此加载到我的Azure数据库中。既然我已经在数据库中创建了表,对我来说,将单个文件放入表中最快的方法是什么?

我已经了解的方法包括:导入平面文件,blob存储/数据工厂,BCP。

我正在寻找有人可以推荐的最快方法?

1 个答案:

答案 0 :(得分:1)

Azure数据工厂应该非常适合这种情况,因为它是为处理和转换数据而设计的,而无需担心规模。

假设您将大型csv文件存储在磁盘上的某个位置,则不想将其移动到任何外部存储(以节省时间和成本)-如果您仅创建一个指向您自己的自我集成运行时,那会更好托管csv文件的计算机,并在ADF中创建链接服务以读取该文件。完成此操作后,只需提取文件并将其指向作为SQL Azure数据库的接收器即可。

https://docs.microsoft.com/en-us/azure/data-factory/connector-file-system