Question

我有一个单节点kafka代理和简单的流应用程序。我创建了2个主题（topic1和topic2）。

Produced on topic1 - processed message - write to topic2

注意：对于生成的每条消息，只有一条消息写入目标主题

我制作了一条消息。在写入topic2之后，我停止了kafka经纪人。一段时间后，我重新启动了代理并在topic1上生成了另一条消息。现在流应用程序处理了该消息3次。现在，在不停止代理的情况下，我向topic1发出了消息，等待流应用程序在再次生成之前写入topic2。

Streams app表现得很奇怪。有时，对于一条生成的消息，有2条消息写入目标主题，有时甚至3.我不明白为什么会发生这种情况。我的意思是即使重新启动代理重启后产生的消息也是如此。

更新1：

我正在使用Kafka版本1.0.0和Kafka-Streams版本1.1.0

以下是代码。

Main.java

String credentials = env.get("CREDENTIALS");

props.put(StreamsConfig.APPLICATION_ID_CONFIG, "activity-collection");
props.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
props.put(StreamsConfig.DEFAULT_KEY_SERDE_CLASS_CONFIG, Serdes.String().getClass());
props.put(StreamsConfig.DEFAULT_VALUE_SERDE_CLASS_CONFIG, Serdes.String().getClass());
props.put(StreamsConfig.RECONNECT_BACKOFF_MS_CONFIG, 100000);
props.put(StreamsConfig.RECONNECT_BACKOFF_MAX_MS_CONFIG, 200000);
props.put(StreamsConfig.REQUEST_TIMEOUT_MS_CONFIG, 60000);
props.put(StreamsConfig.RETRY_BACKOFF_MS_CONFIG, 60000);
props.put(StreamsConfig.producerPrefix(ProducerConfig.ENABLE_IDEMPOTENCE_CONFIG), true);
props.put(StreamsConfig.producerPrefix(ProducerConfig.ACKS_CONFIG), "all");

final StreamsBuilder builder = new StreamsBuilder();

KStream<String, String> activityStream = builder.stream("activity_contenturl");
KStream<String, String> activityResultStream = AppUtil.hitContentUrls(credentials , activityStream);
activityResultStream.to("o365_user_activity");

AppUtil.java

public static KStream<String, String> hitContentUrls(String credentials, KStream<String, String> activityStream) {

        KStream<String, String> activityResultStream = activityStream
                .flatMapValues(new ValueMapper<String, Iterable<String>>() {
                    @Override
                    public Iterable<String> apply(String value) {

                        ArrayList<String> log = new ArrayList<String>();
                        JSONObject received = new JSONObject(value);
                        String url = received.get("url").toString();

                        String accessToken = ServiceUtil.getAccessToken(credentials);
                        JSONObject activityLog = ServiceUtil.getActivityLogs(url, accessToken);

                        log.add(activityLog.toString());
                    }
                    return log;
                }                   
            });

                return activityResultStream;
    }

更新2：

在具有上述配置的单个代理和单分区环境中，我启动了Kafka代理和流应用程序。在源主题上生成6条消息，当我在目标主题上启动消费者时，有36条消息并且正在计数。他们继续前进。

所以我跑来看看consumer-groups：

kafka_2.11-1.1.0/bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --list

输出：

streams-collection-app-0

接下来我跑了这个：

kafka_2.11-1.1.0/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group streams-collection-app-0

输出：

TOPIC                    PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID                                                                                                                HOST            CLIENT-ID
o365_activity_contenturl 0          1               1               0               streams-collection-app-0-244b6f55-b6be-40c4-9160-00ea45bba645-StreamThread-1-consumer-3a2940c2-47ab-49a0-ba72-4e49d341daee /127.0.0.1      streams-collection-app-0-244b6f55-b6be-40c4-9160-00ea45bba645-StreamThread-1-consumer

一段时间后，输出结果显示：

TOPIC                    PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID     HOST            CLIENT-ID
o365_activity_contenturl 0          1               6               5               -               -               -

然后：

TOPIC                    PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID     HOST            CLIENT-ID
o365_activity_contenturl 0          1               7               6               -               -               -

Answer 1

似乎您面临已知限制。默认情况下，Kafka主题将消息存储至少7天，但是将提交的偏移量存储1天（默认配置值offsets.retention.minutes = 1440）。因此，如果在超过1天的时间内没有对您的源主题产生任何消息，则应用重新启动后，来自该主题的所有消息都会再次进行处理（实际上是多次，具体取决于重新启动的次数，每个此类主题每天最多1次，包含罕见的传入消息））。

您可以找到到期承诺偏移量How does an offset expire for consumer group的描述。

在kafka 2.0版中，已提交的偏移量的保留期增加了KIP-186: Increase offsets retention default to 7 days。

为防止进行重新处理，可以添加使用者属性auto.offset.reset: latest（默认值为earliest）。 latest存在一个小风险：如果当天没有人在源主题中产生任何消息，而在重启应用后，您可能会丢失一些消息（仅消息是在重新启动期间准确到达的）。

为什么kafka流会重新处理代理重启后生成的消息

1 个答案: