如果我给Flink的RocksDB状态后端足够的内存

如果我给Flink的RocksDB状态后端足够的内存

本文介绍了如果我给Flink的RocksDB状态后端足够的内存,这与基于堆的状态后端有什么不同?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

EmbeddedRocksDBStateBackend与Flink配合使用的一个明显优点是,当内存不足时,它可能会溢出到磁盘。但是,如果我准备给它足够的内存,使它永远不需要使用磁盘,这与使用HashMapStateBackend有什么不同?

推荐答案

主要区别如下:

  • RocksDB状态后端维护状态的序列化格式的开销(通常)比堆上使用的二进制对象格式少得多。因此,对于给定的内存量,RocksDB可以容纳更多状态。
  • RocksDB中服务/De开销意味着后端的吞吐量(平均)要小得多。
  • RocksDB后端在堆外内存中维护其状态,而保留在堆上的状态会受到GC开销和暂停的影响。因此,RocksDB在最坏情况下的延迟可能会更好。(一旦Flink支持Java 17及其现代垃圾收集器,这个因素就可能消失。)
  • RocksDB后端支持增量检查点,可以显著加快快照和还原速度(但请参阅FLIP-151)。

FWIW,某些用户选择使用配置为使用RAM磁盘作为本地磁盘的RocksDB进行部署。

这篇关于如果我给Flink的RocksDB状态后端足够的内存,这与基于堆的状态后端有什么不同?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持!

07-23 01:11