如何使用SSIS从excel文件中提取数据到OLE DB而不提取重复数据

Question

我希望使用SSIS将数据从excel文件提取到OLE DB。源文件是一些excel文件。每个条目的标识是日期。这些文件之间存在一些重复的数据。

例如

在file1中，条目的日期是从01/01/13到01/15/13。

在file2中，条目的日期是从01/01/13到01/31/13。 file2包含file1具有的所有条目。

如果我使用file1运行SSIS包，则file1中的所有条目都将导入OLE DB。如果我使用file2运行包，那么只有file2中的不同部分将被导入到OLE DB，file1所具有的部分将不会导入到OLE DB中，以避免重复。如果我再次运行file2，则没有任何反应，因为所有数据都在OLE DB中，而新导入的数据是重复数据。

我应该在SSIS中使用什么功能来执行此操作？

Answer 1

我会在数据流任务中添加Lookup转换。这将匹配目标表的Date列。在Lookup / General页面上，我会选择：将行重定向到不匹配的输出。

然后我将Lookup / No Match输出连接到Destination。