kafka 流聚合 - 数据丢失

时间:2021-05-26 06:50:39

标签: apache-kafka-streams fault-tolerance

我们有 kafka 流应用程序,它从主题 A 读取数据做聚合并将其写入主题 B, 我们发现聚合在特定时间丢失了数据,而我们在 kafka 代理中遇到了问题。

我们在客户端看到以下错误:

  1. 由于同步副本少于所需数量,消息被拒绝,因此将记录发送到主题“x”时出错。;将不会发送更多记录,也不会为此任务记录更多偏移
  2. 由于 'x' 310107 ms 的 Expiring 9 记录,错误发送记录到主题 'x-state-store' 自批量创建以来;将不会发送更多记录,也不会为此任务记录更多偏移

据我所知,kafka 流写入失败不会提交偏移量,数据将再次被消耗,但最终数据丢失了,有什么可以解释的?也许我们缺少一些配置? (min.insync.replicas 等于复制数)

0 个答案:

没有答案
相关问题