Flink本地恢复状态文件清除

时间:2018-12-18 07:28:06

标签: apache-flink flink-streaming

我们正在测试Flink的本地恢复选项,以实现对大型键状态的快速恢复。我们取消了当前正在运行的作业,然后从最后一个检查点重新启动它,发现先前的状态仍保留在文件系统中。我们想问一下即使已经恢复状态文件也不会删除。我们不希望本地任务的磁盘使用量无限增加。

1 个答案:

答案 0 :(得分:0)

状态文件不会被删除,因为已经为恢复的作业分配了新的作业ID,因此Flink将创建一个新目录来存储检查点文件。这对我来说完全有意义。

让我们假设,如果Flink在恢复后删除了状态文件,那么如果程序再次失败,该怎么办?