何时写入记录以提前写入火花流？

Question

我的应用程序中启用了writeAheadLog，它使用了spark streaming。什么时候将记录写入writeAheadLog？是在调用商店（...）时还是在收到/接受记录后立即？当我试图实现一个可靠的接收器时，我想在实际存储它们之前首先收集一堆记录。现在我可以确定缓冲区中的记录还没有调用store（），如果应用程序在存储之前失败，它将出现在writeAheadLog中吗？

此外，在重新启动应用程序时，处理日志中记录的正确方法是什么。我希望存储这些事件，是否有一种简单的方法来访问它们？

Answer 1

我做了一些测试，看起来记录是在store（）上写入writeAheadLog的。这意味着需要执行其他操作以使存储之前收集记录的缓冲区成为故障保护。