如何从PySpark DataFrame获取随机行?我只看到sample()
方法,该方法以小数作为参数。将此分数设置为1/numberOfRows
会导致随机结果,有时我什么也没得到。
在RRD
上,有一种takeSample()
方法,该方法将要包含样本的元素数量作为参数。我知道这可能很慢,因为您必须对每个分区进行计数,但是有没有办法在DataFrame上获得类似的东西?
最佳答案
您可以简单地在takeSample
上调用RDD
:
df = sqlContext.createDataFrame(
[(1, "a"), (2, "b"), (3, "c"), (4, "d")], ("k", "v"))
df.rdd.takeSample(False, 1, seed=0)
## [Row(k=3, v='c')]
如果您不想收集,可以简单地提高分数并限制:
df.sample(False, 0.1, seed=0).limit(1)