将数据从一个rabbitmq消费者传输到其他消费者

时间:2015-06-28 22:09:40

标签: flask scrapy rabbitmq pika scrapyd

我正在研究我的ubuntu(14.04)系统。在我的项目中,除了经纪人之外还有三台服务器。核心是烧瓶服务器。另外两个是Scrapyd和Sentiment Analysis服务器。

使用tutorial 'Work Queues',我设法为Scrapyd(通过流水线操作)和烧瓶之间的代理编写消费者代码和生产者代码,同样使用'RPC' part of the tutorial。我已经为SA服务器和烧瓶服务器编写了代码。

问题是,烧瓶服务器已成为两端的消费者。它正在等待scrapyd以及SA服务器的响应。整个想法是从刮刀中获取数据,将其传输到SA服务器并收回响应并将其传递给前端。现在,我能想到从代码的“消费者”部分获取数据到烧瓶服务器的“视图”功能中运行的代码的唯一方法是通过rabbitmq消费者中的“回调”功能。

目前,我正在尝试这种方式:

一旦来自刮刀的数据到达烧瓶端,我们就会创建另一个“消费者”的对象(将与SA服务器交互的对象),并通过该对象传输数据。这是在Scraper和Flask Server之间的代理的消费者端的回调函数中完成的。直到这很好。 当来自SA服务器的数据到达时出现问题。我不知道如何从代理代码的使用者部分的回调函数中获取数据到烧瓶应用程序的'view'函数。

0 个答案:

没有答案