Question

我正在使用Kafka Streams，并且我注意到它使我的kafka记录了很多日志消息，例如：

[2019-04-17 09:06:16,541] INFO [Log partition=my-application-KSTREAM-AGGREGATE-STATE-STORE-0000000076-repartition-0, dir=/opt/kafka/data/logs] Incrementing log start offset to 316423 (kafka.log.Log) [2019-04-17 09:06:16,545] INFO [Log partition=my-application-KSTREAM-AGGREGATE-STATE-STORE-0000000033-repartition-2, dir=/opt/kafka/data/logs] Incrementing log start offset to 3394 (kafka.log.Log) 
[2019-04-17 09:06:16,546] INFO [Log partition=my-application-KSTREAM-AGGREGATE-STATE-STORE-0000000012-repartition-1, dir=/opt/kafka/data/logs] Incrementing log start offset to 3102 (kafka.log.Log) 
[2019-04-17 09:06:16,549] INFO [Log partition=my-application-KSTREAM-AGGREGATE-STATE-STORE-0000000067-repartition-3, dir=/opt/kafka/data/logs] Incrementing log start offset to 4168 (kafka.log.Log) 
[2019-04-17 09:06:16,551] INFO [Log partition=my-application-KSTREAM-AGGREGATE-STATE-STORE-0000000086-repartition-3, dir=/opt/kafka/data/logs] Incrementing log start offset to 329670 (kafka.log.Log)

这确实令人不安，因为我将日志泛滥，因此看不到其他任何东西（也在消耗资源）。

为什么它会发生在（某些）Kafka Streams内部主题中，而不会发生在其他主题中？

如何禁用它？

Answer 1

在处理数据以释放Kafka群集中的存储空间之后，Kafka Streams会积极清除分区主题（请参阅https://issues.apache.org/jira/browse/KAFKA-6150）。不能禁用它。

作为一种解决方法，您可以重新配置重新分区主题配置参数segment.bytes和segment.ms并将其设置为更高的值。 请注意，尽管如此，这会使数据清除效率降低，从而导致Kafka群集中磁盘使用量增加。

卡夫卡溪流-淹没卡夫卡原木

1 个答案: