如何从PySpark DataFrame获取随机行?我只看到sample()方法,该方法以小数作为参数。将此分数设置为1/numberOfRows会导致随机结果,有时我什么也没得到。

RRD上,有一种takeSample()方法,该方法将要包含样本的元素数量作为参数。我知道这可能很慢,因为您必须对每个分区进行计数,但是有没有办法在DataFrame上获得类似的东西?

最佳答案

您可以简单地在takeSample上调用RDD:

df = sqlContext.createDataFrame(
    [(1, "a"), (2, "b"), (3, "c"), (4, "d")], ("k", "v"))
df.rdd.takeSample(False, 1, seed=0)
## [Row(k=3, v='c')]

如果您不想收集,可以简单地提高分数并限制:
df.sample(False, 0.1, seed=0).limit(1)

08-25 07:05
查看更多