本文介绍了如果我给Flink的RocksDB状态后端足够的内存,这与基于堆的状态后端有什么不同?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
EmbeddedRocksDBStateBackend
与Flink配合使用的一个明显优点是,当内存不足时,它可能会溢出到磁盘。但是,如果我准备给它足够的内存,使它永远不需要使用磁盘,这与使用HashMapStateBackend
有什么不同?推荐答案
主要区别如下:
- RocksDB状态后端维护状态的序列化格式的开销(通常)比堆上使用的二进制对象格式少得多。因此,对于给定的内存量,RocksDB可以容纳更多状态。
- RocksDB中服务/De开销意味着后端的吞吐量(平均)要小得多。
- RocksDB后端在堆外内存中维护其状态,而保留在堆上的状态会受到GC开销和暂停的影响。因此,RocksDB在最坏情况下的延迟可能会更好。(一旦Flink支持Java 17及其现代垃圾收集器,这个因素就可能消失。)
- RocksDB后端支持增量检查点,可以显著加快快照和还原速度(但请参阅FLIP-151)。
FWIW,某些用户选择使用配置为使用RAM磁盘作为本地磁盘的RocksDB进行部署。
这篇关于如果我给Flink的RocksDB状态后端足够的内存,这与基于堆的状态后端有什么不同?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持!