如何找到对RDD最大值？

本文介绍了如何找到对RDD最大值？的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！

问题描述

我有一个火花对RDD（键，计数），如下

I have a spark pair RDD (key, count) as below

Array[(String, Int)] = Array((a,1), (b,2), (c,1), (d,3))

如何使用Scala的火花API找到具有最高计数的关键？

How to find the key with highest count using spark scala API?

编辑：对RDD的数据类型是org.apache.spark.rdd.RDD [（字符串，整数）]

datatype of pair RDD is org.apache.spark.rdd.RDD[(String, Int)]

推荐答案

使用 Array.maxBy 方法：

val a = Array(("a",1), ("b",2), ("c",1), ("d",3))
val maxKey = a.maxBy(_._2)
// maxKey: (String, Int) = (d,3)

或 RDD.max ：

val maxKey2 = rdd.max()(new Ordering[Tuple2[String, Int]]() {
  override def compare(x: (String, Int), y: (String, Int)): Int =
      Ordering[Int].compare(x._2, y._2)
})

这篇关于如何找到对RDD最大值？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持！