使用C#同步不同数据库中的两个表

时间:2013-01-31 09:51:42

标签: c# database sql-server-2008 postgresql sync

我有一个远程Postgresql数据库,其中包含一个表(我无法更改),其中包含信息(只有几列而不是整个表)我想用一个表同步到本地SQL Server 2008 Express数据库(我可以改变。。

现在我正在寻找一种有效的方法来做到这一点。由于同步将每隔约5分钟运行一次,每次重新加载整个表会产生很多不必要的流量,我试图避免。

我考虑过保存最新的ID,并且只是抓住一些较新的ID,但有可能(不太可能但仍然可能)旧数据被更改。就这样,我会错过改变的数据。

同步将由与本地SQL Server在同一台计算机上运行的C#程序完成。

1 个答案:

答案 0 :(得分:2)

这个问题有两个解决方案。您可以尝试变聪明并仅传输更改 - 但需要在源数据库上进行某些集成;我确信您的数据库管理员可以帮助您 - 可能触发跟踪所有触摸的行(例如使用源表的主键)。这个解决方案可以很好地扩展,但它更复杂。我认为你应该看第二个选择:简单的暴力。

通过它的声音,你的整个桌子舒适地适合100MB。这只是数据不多。假设您可以获得10MB / s的传输速率(根本不是非常古怪),您可以在10秒内传输所有内容。如果,如您所说,您只需要几列,则总数据传输可能会少得多。每五分钟使用10秒的数字,这将是3%负载的顺序,以保持数据最新 - 这对源数据库来说是一个简单的查询,可能不会导致太多负载,特别是因为它' ll都被缓存在内存中,因为数据集太小了。

看看SqlBulkCopy。本文(Transderring data using SqlBulkCopy)是使用它将数据从一个数据库复制到下一个数据库的示例。源数据阅读器可以是任何东西;我使用它来插入来自对象的计算数据,但是一个特别简单的情况是DbDataReader,你可以从Postgresql中获取select语句。

不幸的是,默认选项并不太好,所以您可能希望指定SqlBulkCopyOptions对您有用。 TableLock可能不错。此外,如果您并行执行此操作(即将多个批量插入到一个表中),请注意索引(可能导致死锁)。如果您使用批量复制批量大小,您可以优化吞吐量和内存使用之间的权衡,但默认情况下可以正常工作。

从概念上讲,我会这样做:

  • 打开与源数据库和目标数据库的连接(使用using
  • 在目标数据库连接上启动SqlTransaction
  • 删除目标表中的所有行。
  • 从源到目标的批量复制(不要忘记通过交易)
  • 提交

这样,您将以原子方式更新目标表。

我不确定你要做什么,但如果这是某种形式的缓存,请考虑完全取消目标SQL服务器并将数据作为对象数组保留在内存中。对只读数据的内存访问速度非常快,数据集很容易适合内存。

相关问题