__consumer_offsets：概念理解

Question

我找不到专门的官方文档来解释__consumer_offsets主题。您能帮我理解以下问题吗？

./kafka-simple-consumer-shell.sh --topic __consumer_offsets \
--partition 49 \
--broker-list localhost:9092 \
--formatter "kafka.server.OffsetManager\$OffsetsMessageFormatter"

testGroup,testTopic-development,0]::OffsetAndMetadata[11,NO_METADATA,1478243992053]
[testGroup,testTopic-development,0]::OffsetAndMetadata[12,NO_METADATA,1478243992086]
[testGroup,testTopic-development,0]::OffsetAndMetadata[13,NO_METADATA,1478243992096]
[testGroup,testTopic-development,0]::OffsetAndMetadata[14,NO_METADATA,1478243992110]

• 在这种情况下，与该特殊主题相对应的元数据有什么价值？
• 如何经常更新此值？
• NO_METADATA-如果没有元数据，则此值无效吗？

Answer 1

自kafka 0.9起，不再zookeeper来存储有关按分区对每个groupid消耗的偏移量的信息。

Kafka现在将此信息存储在名为__consumer_offsets的主题上

Metadata描述了当前可用的代理，它们的主机和端口信息，并提供了有关哪些代理托管哪些分区的信息。

在这种情况下，NO_METADATA是默认行为。