当生产者关闭时,批处理中的消息会丢失

时间:2018-03-15 08:38:30

标签: apache-kafka kafka-producer-api

例如,有一个源以每秒10,000条记录的速率生成高容量数据,而kafka生产者通常将它们存储到内存缓冲区中,然后将其发送到主题,在发布记录之前,生产者关闭。因此,缓冲区中存在的记录将丢失。

请建议任何配置参数以防止这种情况发生。  我使用了这些配置参数:

acks = 1
batch.size = 160000
buffer.memory = 33554432

request.timeout.ms = 30000
retries = 2147483647

1 个答案:

答案 0 :(得分:0)

max.in.flight.requests.per.connection=1