apache-spark - 打印ResultIterable对象的内容

如何打印具有行和列列表的pyspark.resultiterable.ResultIterable对象的内容

是否有内置功能？

我想要类似dataframe.show()的东西

最佳答案

我面临着同样的问题并最终解决了这个问题，所以让我分享我的解决方法...

让我们假设我们有两个RDD。

rdd1 = sc.parallelize([(1,'A'),(2,'B'),(3,'C')])
rdd2 = sc.parallelize([(1,'a'),(2,'b'),(3,'c')])

让我们将这些RDD组合在一起以获得ResultIterable。

cogrouped = rdd1.cogroup(rdd2)
for t in cogrouped.collect():
    print t

>>
(1, (<pyspark.resultiterable.ResultIterable object at 0x107c49450>, <pyspark.resultiterable.ResultIterable object at 0x107c95690>))
(2, (<pyspark.resultiterable.ResultIterable object at 0x107c95710>, <pyspark.resultiterable.ResultIterable object at 0x107c95790>))
(3, (<pyspark.resultiterable.ResultIterable object at 0x107c957d0>, <pyspark.resultiterable.ResultIterable object at 0x107c95810>))

现在，我们要查看这些ResultIterables内部的内容。
我们可以这样做:

def iterate(iterable):
    r = []
    for v1_iterable in iterable:
        for v2 in v1_iterable:
            r.append(v2)

    return tuple(r)

x = cogrouped.mapValues(iterate)
for e in x.collect():
    print e

或像这样

def iterate2(iterable):
    r = []
    for x in iterable.__iter__():
        for y in x.__iter__():
            r.append(y)
    return tuple(r)

y = cogrouped.mapValues(iterate2)
for e in y.collect():
    print e

在这两种情况下，我们将得到相同的结果:

(1, ('A', 'a'))
(2, ('B', 'b'))
(3, ('C', 'c'))

希望这将对将来的人有所帮助。