在不到5分钟的时间内复制AWS rd和本地sql实例之间的数据TB

时间:2019-03-11 22:46:52

标签: sql-server ssis amazon-rds transactional-replication streaminsight

我刚开始一个有一些相当艰巨的要求的项目。公司A使用将记录写入公司B的应用程序。任务是从AWS RDS sql实例(公司B)移动/更新/同步非常大量的数据(195个表和2500 gb的数据,数百万行) )(我认为是sql 2017)到内部实例(公司A)为2016。延迟的可接受阈值为<= 5分钟。我们仅具有对源的读取权限,无法在源中安装任何内容,因此传统的复制方法不可用。

有1个中心表,我们将其称为表A,其中定义了主键(TableAID)。其余表与表A具有外键关系,并且它们还具有定义它们之间其他关系的主键。所有这些的“陷阱”是,当对源进行更新时,所有数据都将被删除并重新插入,从而创建了所有新的主键(TableAID除外)。因此,TableAID是唯一可以持久并且可以依靠的主键。其他表仍将保持其关系,但更新后具有不同的主键。对于所有一对多的关系,这使得使用增量更新目标非常困难。除此之外,B公司将不时存档数据,而A公司将不得不同步现有数据,同时保留已存档的数据,而不再是数据流的一部分。

为此,我们探索了使用SSIS的方法,但无法达到预期的延迟。在深入探讨其他论坛主题之后,我遇到了使用MS StreamInsight的建议。我对此并不熟悉,但是如果它可以用作实时复制的一种方式,我可以加快速度。我不受任何特定技术的束缚,但话虽如此,我的背景是使用MS工具集。在花大量时间使用StreamInsight之前,我想知道这是否是解决我的问题的可行方法。也欢迎其他任何建议!

谢谢!

0 个答案:

没有答案