Question

我的源文件夹中有一些已处理和未处理的文件，文件名所有已处理的文件都存储在一个表中。如何在ForEach循环容器之前匹配源文件夹和表的文件名，并仅处理不匹配的文件。

Answer 1

下面的解决方案有些复杂，但这是我能想到的最好的解决方法。

第1步：创建2个变量，两个字符串。

      a)CurrentFile: This will be used for your Foreach Loop Container collection value
      b)ToProcess: This will be used to map the result set an Execute SQL Task explained 
                 below

第2步：将执行SQL任务添加到您的Foreach循环容器中。

配置参数映射，如下所示：

使用以下脚本作为您的SQL语句：

DECLARE @ToProcess VARCHAR(1)

IF NOT EXISTS(SELECT [FileNames] FROM [YourFilesTable] WHERE FileNames = ?)

SET @ToProcess = 'Y'

SELECT @ToProcess AS ToProcess

将ResultSet设置为Single Row，如下所示：

配置结果集，如下所示：

在“执行SQL任务”上，配置优先约束，如下所示：

您的Foreach循环容器应如下所示：

Answer 2

在Foreach循环之前，请使用脚本任务将未处理的文件的名称存储在SSIS对象变量中，然后遍历此变量以按原样加载新文件。创建一个对象变量，并将其添加到“脚本任务”的ReadWriteVariables字段中。如果使用SSIS变量按如下所示保存源文件的文件夹路径，请在ReadOnlyVariables字段中添加它。 Foreach循环将需要使用 Foreach From Variable Enumerator 枚举器类型。在“集合”页面上的“变量”字段中，添加在“脚本任务”中填充的对象变量。可能已经在做，请在“变量映射”窗格的索引0处添加一个字符串变量，然后将此变量设置为连接管理器上ConnectionString属性的表达式，并假设这是一个平面文件连接。如果这是excel，请更改ExcelFilePath属性以将此变量用作表达式。下面是脚本任务的示例代码和引用的名称空间，并使用C＃。

using System.Linq;
using System.Data.SqlClient;
using System.IO;
using System.Collections.Generic;
using System.Data;

string connString = @"Data Source=YourSQLServer;Initial Catalog=YourDatabase;Integrated Security=SSPI;";
string cmdText = @"SELECT DISTINCT ColumnWithFileNames FROM YourDatabase.YourSchema.YourTable";

string sourceFolder = Dts.Variables["User::SourceFilePath"].Value.ToString();

//create DirectoryInfo object from source folder
DirectoryInfo di = new DirectoryInfo(sourceFolder);
List<string> processedFiles = new List<string>();

List<string> newFiles = new List<string>();


//get names of already processed files stored in tavle
using (SqlConnection conn = new SqlConnection(connString))
{
    conn.Open();
    //data set name does not need to relate to name of table storing processed files
    DataSet ds = new DataSet("ProcessedFiles");
    SqlDataAdapter da = new SqlDataAdapter(cmdText, conn);
    da.Fill(ds, "ProcessedFiles");

    foreach (DataRow dr in ds.Tables["ProcessedFiles"].Rows)
    {
        processedFiles.Add(dr[0].ToString());
    }

}

foreach (FileInfo fi in di.EnumerateFiles())
{
    //only add files not already processed
    if (!processedFiles.Contains(fi.FullName))
    {
        newFiles.Add(fi.FullName);
    }
}

//populate SSIS object variable with unprocessed files
Dts.Variables["User::ObjVar"].Value = newFiles.ToList();

通过ForEach循环容器处理不匹配的文件

2 个答案: