Python到PHP的异步数据传输

Question

我需要构建网络抓取工具。抓取部分将以python编码，结果将以PHP显示。 当python正在废弃页面时，结果应该在PHP中异步显示。

客户认为python是网页报废的快速和更好的选择。你认为混合python和php仍能提供快速结果，还是更快/更好地坚持使用php进行网页报废？

在这两种语言之间以异步方式交换数据的首选方法是什么？

谢谢！

Answer 1

您可以使用支持自定义项目导出程序的Scrapy。

通过继承BaseItemExporter类，您可以创建一个导出器，它可能会打开一个websocket并将每个被删除的项目发送到您的PHP应用程序。您甚至可以使用HTTP请求发送它们，也可以将它们发送到持久性消息队列（如RabbitMQ或Apache Kafka）并让PHP应用程序使用队列中的项目。