我有一个数据集 test.txt
。它包含如下数据
1::1::3
1::1::2
1::2::2
2::1::5
2::1::4
2::2::2
3::1::1
3::2::2
我使用以下代码创建了数据框。
case class Rating(userId: Int, movieId: Int, rating: Float)
def parseRating(str: String): Rating = {
val fields = str.split("::")
assert(fields.size == 3)
Rating(fields(0).toInt, fields(1).toInt, fields(2).toFloat)
}
val ratings = spark.read.textFile("C:/Users/cravi/Desktop/test.txt").map(parseRating).toDF()
但是当我尝试打印输出时,我的输出低于输出
[1,1,3.0]
[1,1,2.0]
[1,2,2.0]
[2,1,2.0]
[2,1,4.0]
[2,2,2.0]
[3,1,1.0]
[3,2,2.0]
但我想打印如下输出,即删除重复的组合,而不是
field(2) value 1.0
。[1,1,1.0]
[1,2,1.0]
[2,1,1.0]
[2,2,1.0]
[3,1,1.0]
[3,2,1.0]
最佳答案
创建 dataframe
后,可以通过调用 .dropDuplicates(columnNames)
来删除重复项,并且可以使用 1.0
和 lit
函数使用 withColumn
填充第三列。
综上所述,简单的解决方案可以做如下
val ratings = sc.textFile("C:/Users/cravi/Desktop/test.txt")
.map(line => line.split("::"))
.filter(fields => fields.length == 3)
.map(fields => Rating(fields(0).toInt, fields(1).toInt, 1.0f))
.toDF().dropDuplicates("userId", "movieId")
ratings.show(false)
这应该给你
+------+-------+------+
|userId|movieId|rating|
+------+-------+------+
|3 |1 |1.0 |
|2 |2 |1.0 |
|1 |2 |1.0 |
|1 |1 |1.0 |
|2 |1 |1.0 |
|3 |2 |1.0 |
+------+-------+------+
关于scala - 在 Spark Scala 中映射和删除重复项?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/47258996/