本文介绍了Flink Streaming:事件是否根据其键分别分发到每个任务槽?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

例如,如果我的事件顺序为键A,事件顺序为键B,并行度为2。是否所有键A的事件都转到一个任务槽,而键B的事件都转到另一个任务槽?

如果我只按键A的顺序获取事件,会发生什么情况?它们是否也会分发到两个任务槽。这是否意味着我失去了它们出现的顺序?

推荐答案

不,它不完全是这样工作的。

发生的情况是每个键都映射到一个键组,其中键组总数由集群的最大并行度(配置设置)决定。然后将键组映射到任务槽上。如果有两个密钥和两个插槽,则完全可以将这两个密钥分配到同一插槽。

密钥的密钥组为:

MathUtils.murmurHash(key.hashCode()) % maxParallelism

密钥组的槽位为:

keyGroup * actualParallelism / maxParallelism

有关保持顺序,请参阅https://stackoverflow.com/a/69094404/2000823https://stackoverflow.com/a/69757412/2000823

这篇关于Flink Streaming:事件是否根据其键分别分发到每个任务槽?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持!

05-29 04:35
查看更多