我应该使用什么策略/技术进行这种复制？

Question

我目前面临一个尚未找到好解决方案的问题，所以希望能得到大家的一些建议。

我的问题如图片

核心数据库是所有客户端连接的地方，用于管理实时数据，这些数据实际上非常庞大且一直很繁忙。

功能数据库不经常使用，但它需要来自核心数据库的部分实时数据（可能是5％），但是此服务器的请求任务将花费更长的时间并消耗大量资源。

我目前的解决方案是什么：

1. 我在Core Database＆amp ;;之间使用了数据库复制。功能数据库，它工作正常。但 问题是我浪费了大量的磁盘空间来存储不需要的数据。 （在复制数据不能与我的数据库架构一起使用时进行过滤）

2. 使用排队系统不会按时向核心数据库发送数据。

如果你遇到这个问题，请提出一些建议吗？

谢谢，

庞

Answer 1

您定义的是经典的数据集成任务。您可以使用任何数据集成工具从核心数据库中提取数据并加载到特色数据库中。您可以将数据集成作业从实时安排到任何时间范围。

我在我的中型（10GB）半科学PostgreSQL数据库集成项目中使用了Talend。它运作得很漂亮。

您也可以尝试SQL Server Integration Services (SSIS)。这个工具也非常强大。它适用于所有顶级RDBMS。

Answer 2

如果你担心的是磁盘空间，我会坚持你现在的解决方案。如今，100GB的磁盘空间不到1美元 - 对于这笔钱，您无法真正负担得起将新解决方案带入系统。

从逻辑上讲，还有一个案例可以保持过滤在同一个应用程序中 - 保持知道哪些记录在应用程序内部相关的责任，而不是在一些神秘的集成层中将降低整体解决方案的复杂性。如果确实需要，只接受特殊集成层的额外复杂性。