流分区器,在流进行转换后,flink通过分区器精确控制数据的流向,下图是flink提供的所有的所有的分区器
可以发现所有的partition都需要实现StreamPartitioner接口和ChannelSelector的接口
其中ForwardPartitioner和GlobalPartitioner两个实现器基本一样,是将记录转发给在本地运行的下游的(归属于subtask)的operation
ShufflePartitioner是随机选择一个channel
RebalancePartitioner实现了一个轮询分区算法
BroadcastPartitioner是将数据发往下游所有节点
RescalPartitioner是通过轮询的方式发往下游
针对这个进行一些说明:
上游操作所发送的元素被分区到下游操作的哪些子集,依赖于上游和下游操作的并行度。例如,如果上游操作的并行度为2,而下游操作的并行度为4,那么一个上游操作会分发元素给两个下游操作,同时另一个上游操作会分发给另两个下游操作。相反的,如果下游操作的并行度为2,而上游操作的并行度为4,那么两个上游操作会分发数据给一个下游操作,同时另两个上游操作会分发数据给另一个下游操作。在上下游的并行度不是呈倍数关系的情况下,下游操作会有数量不同的来自上游操作的输入
KeyGroupStreamPartitioner:通过记录的数据值获得分区key,通过如下公式
keyGroupId * parallelism / maxParallelism
计算出最终的channel
CustomPartitionerWrapper:是自定义分区器