SQL - 处理大量任意数据的最佳实践

Question

我有一个大量分隔的文件和许多规范化的表来输入数据。是否有最佳实践来引入数据并将数据插入到适当的字段和表中？

例如，现在我已经创建了一个包含所有任意数据的临时表。某些逻辑针对每一行运行，以确定将进入哪个表的值。没有太多细节，关注我的部分看起来像：

INSERT INTO table VALUES (
    (SELECT TOP 1 field1 FROM #tmpTable),
    (SELECT TOP 1 field30 FROM #tmpTable),
    (SELECT TOP 1 field2 FROM #tmpTable),
    ...
    (SELECT TOP 1 field4 FROM #tmpTable))

有了这个，我的问题是：为此目的使用临时表是否合理？使用这些SELECT语句是不是很糟糕？它有点像hacky，是否有更好的方法来处理大量数据导入和分离？

Answer 1

您应该尝试SSIS。

SSIS How to Create an ETL Package