SSIS中模糊逻辑(模糊分组与模糊模糊查找)变换的问题

时间:2009-12-12 20:23:47

标签: ssis

我对SSIS中的数据转换有很多知识,基本上我自己都在学习。

我已经学到了一些,现在我进入了模糊逻辑。

我在SSIS中遇到Fuzzy grouping and Fuzzy Lookup

我无法弄清楚如何做到这一点虽然谷歌搜索给了我一些超出我能力的结果。

任何人都可以建议我一步一步的实施相同的教程。

如果示例包含图表以便我可以轻松学习,那将会很棒。

同样在哪种情况下我应该使用它(我的意思是实时场景)

提前致谢

1 个答案:

答案 0 :(得分:3)

这是一个很好的开始,让你真正理解模糊查找组件的作用(类似于模糊分组):SSIS fuzzy lookup

我实际上在一个客户端使用了这个,我收到的是他人的客户数据。我根据公司名称创建了一个静态查找表:

Lku表(注意开头的这些是如何相同的)

姓名|查找输出名称

微软|微软

摩根大通|摩根大通

麦当劳|麦当劳

我会在文本文件中收到如下所示的数据:

键入名称

的Microsft

摩根大通

McDons

使用模糊查找,我会加入Name列(不要忘记这是区分大小写的用户上层或下层要转换)以获取查找输出名称。我将相似度阈值设置为大约80%(建议的百分比或更高)。然后我会通过数据查看器查看我的对决,这可能看起来像这样:

键入名称|查找名称|信心|相似性

微软|微软| 100%| 100%

摩根大通|摩根大通| 88%| 90%

麦克唐斯麦当劳| 60%| 50%

然后基于一个条件分裂,我加载了具有信心和相似度百分比的那些> 80%且小于< 100%进入查找表并将其他表加载到错误表中。如果计数大于错误表中的一个,则会通过电子邮件发送电子邮件。所以结果查找表将是这样的:

查找表

姓名|查找输出名称

微软|微软

摩根大通|摩根大通

麦当劳|麦当劳

摩根大通|摩根大通


错误表

姓名|提议名称|错误消息

麦克唐斯麦当劳|信心为60%,相似度为50%

希望这会有所帮助。