【spark】常用转换操作：sortByKey()和sortBy()

1.sortByKey()

功能：

　　返回一个根据键排序的RDD

示例

val list = List(("a",3),("b",2),("c",1))

val pairRdd = sc.parallelize(list)

pairRdd.sortByKey().collect.foreach(println)

结果

(a,3)

(b,2)

(c,1)

如果我们想逆向排序，就在后边加上false参数。

pairRdd.sortByKey(false).collect.foreach(println)

2.sortBy()

功能：

　　返回根据提供的参数进行排序的RDD

示例　　

val list = List(("a",3),("b",2),("c",1))

val pairRdd = sc.parallelize(list)

pairRdd.sortBy(_._1).collect.foreach(println)//根据key进行排序，等同于sortByKey()

结果同上

val list = List(("a",3),("b",2),("c",1))

val pairRdd = sc.parallelize(list)

pairRdd.sortBy(_._2).collect.foreach(println)//用value进行排序

结果

(c,1)

(b,2)

(a,3)

如果我们想逆向排序，就在后边加上false参数。

pairRdd.sortBy(_._2,false).collect.foreach(println)