什么是数据集成的最佳工具

时间:2010-10-12 15:10:16

标签: sql-server ssis

我正在寻找数据集成的最佳工具。我需要以下功能:

  • 自定义加载/匹配和 清除不同的数据 来源(包括MSSQL Server, PostgreSQL,WebServices,Excel,文本 各种格式的文件)。该 数据接收者是MSSQL Server 2008。

  • 能够在外部配置数据转换规则(例如配置文件或可视化工具)

  • 支持Unicode,日志记录,多线程和容错
  • 可扩展性(非常重要)
  • 能够处理大量数据(每天超过100MB)

我看一下SQL Server Integration Service 2008,但我不确定它是否符合这些标准。你觉得怎么样?

2 个答案:

答案 0 :(得分:4)

看起来整合服务(SSIS)应该满足您的要求。它应该在您的列表中很高,因为它与SQL Server具有良好的集成,并且与大多数替代方案相比具有极高的成本效益。

就可扩展性而言,您的数据听起来非常小(这些天每天100MB不多)所以它完全在SSIS的功能范围内,即使对于复杂的数据流也是如此。对于容错,SSIS具有开箱即用的可重启性功能,但如果高可用性对您很重要,那么您可能需要考虑群集/镜像。

答案 1 :(得分:2)

我只从第一手经验中了解SSIS,所以我不能说它与其他解决方案相比如何。

但我会说这对你提出的所有要点都是一个很好的解决方案。

唯一有点棘手的事情是:

  

不知道能否在外部配置数据转换规则(例如配置文件或可视化工具)

不确定我是否正确。 您可以将SSIS的配置参数存储在外部文件中,甚至存储在SQL表中。但是你仍然需要在包中指定规则的种类。除非你编写自己的脚本组件(当然你可以在其中解释你在外部存储的格式化规则)