无法使用python-kafka使用消息

时间:2019-05-06 09:53:33

标签: python apache-kafka kafka-python

我试图复制blog中给出的步骤。尝试时,给出了Kafka ConsumerKafka Producer的python代码,我可以在python交互式终端中运行该代码,并可以使消费者控制台提供输出,但是如果我将它们传递到python文件中,{ {1}},它什么也不消耗。

消费者

(*.py)

制作人

from kafka import KafkaConsumer
consumer = KafkaConsumer('sample')
for message in consumer:
    print (message)

如何使其在python文件中工作?

1 个答案:

答案 0 :(得分:2)

  

我刚刚将producer.flush()添加到生产者代码中,它开始起作用。

因为Kafka客户端不批量发送消息,而不是立即发送消息,以减少代理的负载。

您最初发送的数据不足,无法单独进行刷新,因此您的数据仅在应用程序结束时才驻留在内存中。

引用batch.size生产者属性