Question

我在集群设置中具有3个docker容器的数据流如下。我使用https://github.com/apache/nifi/tree/rel/nifi-1.8.0/nifi-docker/docker-compose中的docker-compose文件和nifi版本1.8.0

ConsumeKafka 1.0 -> CountText-> LogAttribute

启动此数据流时，我看到它们运行正常。

当通过docker stop和docker rm停止并杀死一个节点和另一个节点时，我看到提交的偏移量（CURRENT-OFFSET）仍在进行中，但是我看不到日志停止的容器了

TOPIC  PARTITION  CURRENT-OFFSET LOG-END-OFFSET                         
events1 0          29379464          41973308         
events1 1          29393696          41974539      
events1 2          29402673          41983220

信息来自 ./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group test_local_2019_01_17

通过检查docker ps -a，我非常确定容器完全没有运行。也没有其他使用者，因为当停止所有容器时，已提交的偏移量不再进行了

我应该检查为什么CUURENT-OFFSET正在进行吗？令我困扰的是我看不到分区的日志，并且偏移量仍在提交并在进行中，这可能意味着数据丢失

NiFi中不存在节点时，Kafka使用者将继续消耗

0 个答案: