MySQL - 将大型临时表与生产表同步

Question

我有一张4mil +记录的表格。有一个临时表，可以通过ETL过程全天更新数据。登台表更新后，我需要将该数据与生产表同步。我目前正在使用INSERT / ON DUPLICATE KEY UPDATE查询来同步它们，但是使用此表的大小需要大约750秒才能运行。是否有更有效的方法来更新/插入新数据？我已经阅读了一些关于分区表的内容，但我不确定这是否是我需要做的。谁能给我一些关于如何更有效地完成这项工作的建议？

Answer 1

我会使用maatkit工具（http://www.maatkit.org/），特别是http://www.maatkit.org/doc/mk-table-sync.html。在这种情况下它非常有效。