如何从平面文件中读取数百万条记录?

时间:2012-04-26 13:39:41

标签: ssis

在我的数据流中,我从平面文件中读取数据并插入到oledb目的地。在两个步骤之间,我使用了一些其他组件,如(lookp,derived,scrip component)。我在3500个记录中执行了我的包,从平面文件读取到oledb目的地。所以我的问题是如何提高这个读数3500到100000这个数。还有一个问题是可以在ssis中分配ram使用的任何选项吗?

1 个答案:

答案 0 :(得分:2)

我无法理解你的意思"所以我的问题是如何改善这个读数3500到100000这个数"。你能说得更清楚吗?

关于内存,您可以(并且应该)配置缓存在查找组件上的工作方式。您可以将其设置为none,full或partial。

  • 完整:运行查询查询一次
  • 部分:每个ID运行一次查找查询并保留值
  • 无:每次都运行查询查询。它保留最后一个值 因此,如果两个后续行中存在两个相等的值,则不会 再跑一次

并且在完全和部分上,您可以配置用于缓存的内存量