本文介绍了Kafka kstream-kstream加入了滑动窗口,内存使用量随着时间的推移不断增长,直到OOM的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我在使用kstream联接时遇到问题。我所做的是从一个主题中将3种不同类型的消息分离到新的流中。然后与创建另一个流的两个流进行一次内部联接,最后我与新流和最后一个剩余的流进行最后一次左联接。

联接的窗口时间为30秒。

这样做是为了筛选出某些被其他邮件覆盖的邮件。

我在Kubernetes上运行此应用程序,Pod的磁盘空间一直在无限增长,直到Pod崩溃。

我已经意识到这是因为联接将数据存储在本地的tmp/kafka-stream目录中。

这些目录称为:KSTREAM-JOINTHIS...KSTREAM-OUTEROTHER..

它存储来自rocks Db的sst文件,并且这些文件无限增长。

我的理解是,由于我使用30秒的窗口时间,这些应该在特定时间之后被清除,但事实并非如此。

我还将WINDOW_STORE_CHANGE_LOG_ADDITIONAL_RETENTION_MS_CONFIG更改为10分钟,以查看是否有不同的更改。

我需要了解如何更改这一点。

推荐答案

窗口大小并不决定您的存储要求,而是决定加入的宽限期。为了处理无序记录,数据的存储时间比窗口大小更长。在较新版本中,需要始终通过JoinWindows. ofTimeDifferenceAndGrace(...)指定宽限期。在旧版本中,您可以通过JoinWindows.of(...).grace(...)设置宽限期--如果未设置,则默认为24小时。

配置WINDOW_STORE_CHANGE_LOG_ADDITIONAL_RETENTION_MS_CONFIG配置数据在集群中存储的时间长度。因此,您可能也想减少它,但这无助于减少客户端存储需求。

这篇关于Kafka kstream-kstream加入了滑动窗口,内存使用量随着时间的推移不断增长,直到OOM的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持!

10-13 20:42