python - Pyspark:合并嵌套列表中的值

我有一个具有结构的对RDD：
[（键，[（时间串，值）]]

例：

[("key1", [("20161101", 23), ("20161101", 41), ("20161102", 66),...]),
 ("key2", [("20161101", 86), ("20161101", 9), ("20161102", 11),...])
  ...]

我想处理每个键的列表，按时间字符串分组并计算相同时间字符串的所有值的平均值。因此，上面的示例将变为：

[("key1", [("20161101", 32), ..]),
 ("key2", [("20161101", 47.5),...])
  ...]

我很难一步一步地找到使用Pyspark方法的解决方案，这是完全可能的还是我需要使用一些中间步骤？

最佳答案

您可以定义一个函数：

from itertools import groupby
import numpy as np

def mapper(xs):
    return [(k, np.mean([v[1] for v in vs])) for k, vs in groupby(sorted(xs), lambda x: x[0])]

和mapValues

rdd = sc.parallelize([
    ("key1", [("20161101", 23), ("20161101", 41), ("20161102", 66)]),
    ("key2", [("20161101", 86), ("20161101", 9), ("20161102", 11)])
])

rdd.mapValues(mapper)