来自Flink流的手动检查点

时间:2017-07-19 09:00:19

标签: apache-flink flink-streaming

是否可以从Flink流媒体作业触发检查点?

我的用例是:我有两个流R和S加入翻滚时间窗口。来源是卡夫卡。我使用事件时间处理和BoundedOutOfOrdernessGenerator来确保来自两个流的事件最终在同一个窗口中。

问题是我的状态很大,有时定期检查点需要花费太多时间。起初,我想禁用检查点并依赖Kafka偏移量。但是不按顺序意味着我在未来的窗口中已经有一些来自当前偏移量的数据。所以我需要检查点。

如果可以在窗口清理后触发检查点而不是定期检查点,那么效率会更高。也许是在evictAfter方法。

这是否有意义,是否可能?如果不是我感谢你的工作。

1 个答案:

答案 0 :(得分:1)

这里的问题似乎是检查点效率。考虑使用RocksDB状态后端和增量检查点,在Debugging and Tuning Checkpoints and Large State下的文档中讨论。