java - Spark筛选是否会重新加载数据？

这是我非常简单的Spark工作的主体...

def hBaseRDD = sc.newAPIHadoopRDD(config, TableInputFormat.class, ImmutableBytesWritable.class, Result.class)
println "${hBaseRDD.count()} records counted"
def filteredRDD = hBaseRDD.filter({ scala.Tuple2 result ->
    def val = result._2.getValue(family, qualifier)
    val ? new String(val) == 'twitter' : false
} as Function<Result, Boolean>)
println "${filteredRDD.count()} counted from twitter."
println "Done!"

我在spark-submit的输出中注意到，它似乎两次进入了HBase。第一次是调用hBaseRDD上的count，第二次是调用filter创建filteredRDD时。有没有一种方法可以让它在hBaseRDD中缓存newAPIHadoopRDD调用的结果，以便筛选器仅在内存中的数据副本上工作？

最佳答案

hbaseRDD.cache()会计数。

该文档详细介绍了这些选项：http://spark.apache.org/docs/1.2.0/programming-guide.html#rdd-persistence