本文介绍了Flink Streaming:事件是否根据其键分别分发到每个任务槽?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
例如,如果我的事件顺序为键A,事件顺序为键B,并行度为2。是否所有键A的事件都转到一个任务槽,而键B的事件都转到另一个任务槽?
如果我只按键A的顺序获取事件,会发生什么情况?它们是否也会分发到两个任务槽。这是否意味着我失去了它们出现的顺序?
推荐答案
不,它不完全是这样工作的。
发生的情况是每个键都映射到一个键组,其中键组总数由集群的最大并行度(配置设置)决定。然后将键组映射到任务槽上。如果有两个密钥和两个插槽,则完全可以将这两个密钥分配到同一插槽。密钥的密钥组为:
MathUtils.murmurHash(key.hashCode()) % maxParallelism
密钥组的槽位为:
keyGroup * actualParallelism / maxParallelism
有关保持顺序,请参阅https://stackoverflow.com/a/69094404/2000823和https://stackoverflow.com/a/69757412/2000823。
这篇关于Flink Streaming:事件是否根据其键分别分发到每个任务槽?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持!