aggregate

aggregate 是比较常用的 行动 操作,不是很好懂,这里做个解释。

aggregate(zeroValue, seqOp, combOp)

zeroValue 是一个初始值,自己根据实际情况进行设定;

首先我们知道 RDD 是被分区,然后并行操作的;

seqOp 是对每个分区进行聚合,每个分区聚合结果作为 combOp 的输入;

combOp 对分区聚合结果再次进行聚合;

seqOp 和 combOp 必须有且仅有2个参数

示例如下

seqOp:

把初始值设为 0,累加就是求和

把初始值设为 0,每次加1就是计数;然后 迭代 初始值

combOp:

每个分区的聚合结果为两部分(sum,count)

在初始值的基础上,把每个分区的 sum 相加,count 相加

迭代初始值

seqOp = (lambda x, y: (x[0] + y, x[1] + 1))     ## x 为 初始值,y 是 list 中的单个元素
combOp = (lambda x, y: (x[0] + y[0], x[1] + y[1])) ## x 为 初始值,y 是 seqOp 单个分区的聚合结果
sc.parallelize([1, 2, 3, 4]).aggregate((0, 0), seqOp, combOp) # (10, 4) ## 初始值变成 (3, 0), 分一个区,seqOp 聚合结果加 3, combOp 聚合结果加 3, 总共加 6,即 16
sc.parallelize([1, 2, 3, 4], 1).aggregate((3, 0), seqOp, combOp) # (16, 4)
## 初始值变成 (3, 0), 分两个区,seqOp 每个分区聚合结果加 3,共加 6,combOp 聚合结果加 3, 总共加 9,即 19
sc.parallelize([1, 2, 3, 4], 2).aggregate((3, 0), seqOp, combOp) # (19, 4) sc.parallelize([1, 2, 3, 4], 4).aggregate((3, 0), seqOp, combOp) # (25, 4)
sc.parallelize([1, 2, 3, 4]).aggregate((3, 0), seqOp, combOp) # 如果不写分区,默认为 cpu 核数个分区,即 4 核就分 4 个区

计算过程如下

spark算子篇-aggregate 系列-LMLPHP

aggregate 是针对 序列 进行操作的,还有一个 aggregateByKey 是针对 (key - value 对) 中的 key 进行 aggregate 操作的

05-27 20:29