例如,有一个源以每秒10,000条记录的速率生成高容量数据,而kafka生产者通常将它们存储到内存缓冲区中,然后将其发送到主题,在发布记录之前,生产者关闭。因此,缓冲区中存在的记录将丢失。
请建议任何配置参数以防止这种情况发生。 我使用了这些配置参数:
acks = 1
batch.size = 160000
buffer.memory = 33554432
request.timeout.ms = 30000
retries = 2147483647
答案 0 :(得分:0)
max.in.flight.requests.per.connection=1