消息队列和数据库插入

时间:2013-04-01 15:11:37

标签: postgresql message-queue amazon-sqs

我是消息队列的新手,对他们的能力和使用感到好奇。我对如何使用它有一个想法,但想知道它是否是这个工具的最佳用途。我有一个应用程序,它可以读取和读取电子表格,转换数据业务对象以进行数据库存储。我的应用程序需要阅读并能够更新数十万条记录,但我遇到了持有这些对象并批量插入数据库的性能问题。

使用消息队列有两个不同的应用程序(一个用于读取电子表格,一个用于存储记录)是否正确使用了消息队列?显然,我需要在代码中进行一些优化,这将是我的第一步,但希望听到那些使用过消息队列的人的想法。

1 个答案:

答案 0 :(得分:1)

这不会是对队列的不当使用,但很难说在你的场景中添加消息队列是否会对你提到的性能问题产生任何影响。我们需要更多信息。

您是否在队列中添加一条消息,以告知进程在数据准备好加载时转换电子表格和第二条消息?或者您是否考虑在每条数据记录中添加消息? (这可能会很快变得昂贵,并且可能不会提高性能)。