检查点还原过程如何工作?

时间:2019-04-11 09:59:18

标签: apache-flink flink-streaming

我正在尝试了解检查点还原的过程,到目前为止,我仅找到有关增量检查点机制如何工作的信息。 通常,当您在其他地方谈论备份过程时,您会先谈论完整操作,然后谈论增量操作,增量操作代表完全备份和增量备份之间的增量。 但是在这里,当我们谈论增量检查点时,我们不会对状态进行完整快照,而是立即从增量机制开始。 所以我想了解的是,当我们使用保留并且仅剩几个增量检查点时,它是如何工作的,如果增量检查点仅表示从一个检查点到另一个检查点的更改,那么如何填充所有状态数据。 / p>

1 个答案:

答案 0 :(得分:1)

为了使增量检查点正常工作,Flink为每个检查点存储了完全恢复检查点状态所需的增量(也称为共享状态对象)。增量/共享状态对象实际上是两个检查点之间的差异。根据状态访问和压缩逻辑,在最极端的情况下,这只能是您执行的最新增量或增量的完整历史记录。

由于Flink跟踪检查点仍在引用哪些增量,因此它也知道何时不再需要增量(不再存在对该增量的引用)。如果发生这种情况,则会删除相应的增量。