我在使用Spark Streaming的应用程序中启用了writeAheadLog。记录何时准确写入writeAheadLog?是在调用store(...)时还是在接收/接受记录时?在尝试实现可靠的接收器时,我想先收集一堆记录,然后再实际存储它们。现在,我可以确定应用程序在存储之前失败时,writeAheadLog中是否存在我在缓冲区中并且尚未调用store()的记录?

此外,重新启动应用程序时处理日志中记录的正确方法是什么。我希望存储这些事件,是否有一种简单的方法来访问它们?

最佳答案

我做了一些测试,看来记录是在store()上写入writeAheadLog的。这意味着需要采取其他措施才能使故障保护成为在存储之前将记录收集到的缓冲区的缓冲区。

08-04 23:25
查看更多