Apache Flume-Kafka-Sink生产者重复的消息

Question

我们遇到奇怪的问题，flume-kafka-sink，kafka代理多次失败并产生重复邮件（每50条记录相同），但有关producer.sinks.r.request.required.acks = 1的设置，配额为{ {1}}文档“此选项提供最低延迟但最弱的持久性保证（当服务器发生故障时某些数据将丢失）”，它不能产生重复数据？这是否意味着由kafka或flume？

引起的问题

Answer 1

Flume-Kafka-Sink逐批产生消息，并在写入失败后重试。在一些经纪人失败期间，一些分区领导无法到达。当批量写入发生时，一些分区将成功，但有些失败，当Flume-Kafka-Sink重试时，成功部分将重复。