如何在Beam中明确触发检查点

时间:2019-04-05 19:17:17

标签: apache-beam

是否可以以编程方式触发Beam DoFn中的检查点?我该怎么办?


p.s。我需要这样做是因为我禁用了KafkaIO源的自动提交,以避免在管道重启时丢失数据(从Kafka读取但尚未处理),而是打开了kafka-commit-on-pipeline-checkpoint功能{{ 1}}

KafkaIO checkpoint - how to commit offsets to Kafka

0 个答案:

没有答案
相关问题