我正在为ETL流程构建一个SSIS解决方案，我目前正在处理提取部分。
我们的ETL源采用不同的文件格式，包括DB，Excel和CSV，每种情况下也有不同的列数。因此，我没有为每个提取的源创建数据流任务，而是使用可以处理所有文件类型和列号的脚本任务。
该脚本将数据读入数据表，然后将其批量插入数据库。
这对我测试的数据（大约30k行）非常有用，但我想知道更多行会发生什么以及它会如何影响性能。
我知道数据表的大小限制大约是1600万行，我不认为我们的数据源会有那么多行，但我意识到大型数据表可能对整个ETL产生的性能影响过程
我是否会更好地处理10,000个批次的来源以帮助提高性能？
感谢您的提前帮助