Question

即使经过特定配置，Spring cloud Kafka流也不会在反序列化错误后重试。期望是，它应基于配置的重试策略重试，最后将失败的消息推送到DLQ。

配置如下。

spring.cloud.stream.bindings.input_topic.consumer.maxAttempts=7
spring.cloud.stream.bindings.input_topic.consumer.backOffInitialInterval=500
spring.cloud.stream.bindings.input_topic.consumer.backOffMultiplier=10.0
spring.cloud.stream.bindings.input_topic.consumer.backOffMaxInterval=100000
spring.cloud.stream.bindings.iinput_topic.consumer.defaultRetryable=true

public interface MyStreams {

    String INPUT_TOPIC = "input_topic";
    String INPUT_TOPIC2 = "input_topic2";
    String ERROR = "apperror";
    String OUTPUT = "output";

    @Input(INPUT_TOPIC)
    KStream<String, InObject> inboundTopic();

    @Input(INPUT_TOPIC2)
    KStream<Object, InObject> inboundTOPIC2();

    @Output(OUTPUT)
    KStream<Object, outObject> outbound();

    @Output(ERROR)
    MessageChannel outboundError();
}

@StreamListener(MyStreams.INPUT_TOPIC)
    @SendTo(MyStreams.OUTPUT)
    public KStream<Key, outObject> processSwft(KStream<Key, InObject> myStream) {
        return myStream.mapValues(this::transform);
    }

KafkaTopicProvisioner.java中的metadataRetryOperations始终为null，因此它将在afterPropertiesSet()中创建一个新的RetryTemplate。

public KafkaTopicProvisioner(KafkaBinderConfigurationProperties kafkaBinderConfigurationProperties, KafkaProperties kafkaProperties) {
        Assert.isTrue(kafkaProperties != null, "KafkaProperties cannot be null");
        this.adminClientProperties = kafkaProperties.buildAdminProperties();
        this.configurationProperties = kafkaBinderConfigurationProperties;
        this.normalalizeBootPropsWithBinder(this.adminClientProperties, kafkaProperties, kafkaBinderConfigurationProperties);
    }

    public void setMetadataRetryOperations(RetryOperations metadataRetryOperations) {
        this.metadataRetryOperations = metadataRetryOperations;
    }

    public void afterPropertiesSet() throws Exception {
        if (this.metadataRetryOperations == null) {
            RetryTemplate retryTemplate = new RetryTemplate();
            SimpleRetryPolicy simpleRetryPolicy = new SimpleRetryPolicy();
            simpleRetryPolicy.setMaxAttempts(10);
            retryTemplate.setRetryPolicy(simpleRetryPolicy);
            ExponentialBackOffPolicy backOffPolicy = new ExponentialBackOffPolicy();
            backOffPolicy.setInitialInterval(100L);
            backOffPolicy.setMultiplier(2.0D);
            backOffPolicy.setMaxInterval(1000L);
            retryTemplate.setBackOffPolicy(backOffPolicy);
            this.metadataRetryOperations = retryTemplate;
        }

    }

Answer 1

即使经过特定配置，Spring cloud Kafka流也不会重试反序列化错误。

您遇到的行为在遇到反序列化错误时与Kafka Streams的默认设置匹配。

来自https://docs.confluent.io/current/streams/faq.html#handling-corrupted-records-and-deserialization-errors-poison-pill-records：

LogAndFailExceptionHandler实现DeserializationExceptionHandler，并且是Kafka Streams中的默认设置。它通过记录错误并抛出致命错误来停止Streams应用程序，从而处理遇到的所有反序列化异常。如果将您的应用程序配置为使用LogAndFailExceptionHandler，则当您的应用程序实例通过终止自身而遇到损坏的记录时，将快速发生故障。

我不熟悉Spring的Kafka Streams外观，但是您可能需要配置所需的org.apache.kafka.streams.errors.DeserializationExceptionHandler，而不是配置重试（它们是出于不同的目的）。或者，您可能想要实现自己的自定义处理程序（有关更多信息，请参见上面的链接），然后配置Spring / KStreams以使用它。

Answer 2

重试配置仅适用于基于MessageChannel的联编程序。借助KStream绑定器，Spring可以按规定的方式帮助构建拓扑，一旦构建了拓扑，它就不会参与消息流。

spring-kafka的下一个版本（由活页夹使用）添加了RecoveringDeserializationExceptionHandler（commit here）；尽管重试无济于事，但可以与DeadLetterPublishingRecoverer一起使用，以将记录发送到空载主题。

您可以在处理器/变压器中使用RetryTemplate重试特定的操作。

Kafka流不会在反序列化错误时重试

2 个答案: