我最近在学习Spark,并对转换和 Action 操作感到困惑。我阅读了spark文档和一些有关spark的书,并且我知道操作会导致spark作业在集群中执行,而转换不会执行。但是未说明在spark的api文档中列出的rdd的操作是转换操作还是 Action 操作。

例如,reduce是一个 Action ,而reduceByKey是一个转换!为什么会这样。

最佳答案

您可以通过查看返回类型来判断。 Action 将返回非RDD类型(通常是您的存储值类型),而转换将返回RDD[Type],因为它仍然只是计算的表示形式。

10-08 08:31
查看更多