需求:计算学生的平均分数
背景:
我们有一组学生的姓名和分数数据,我们需要计算每个学生的平均分数。
功能要求:
- 从数据源中获取学生的姓名和分数数据。
- 使用Spark进行数据处理,将学生数据按姓名分组。
- 计算每个学生的平均分数,并保留两位小数。
- 将计算得到的平均分数与学生姓名一起输出。
- 结果应以易于理解的方式呈现,包括学生姓名和平均分数。
- 执行完计算后,关闭Spark上下文。
输入:
- 学生姓名和分数的数据集。
输出:
- 对每个学生的姓名和平均分数的清晰可读的列表。
package com.bigdata;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import scala.Tuple2;
import java.text.DecimalFormat; // 导入DecimalFormat
import java.util.Arrays;
public class GroupByKeyExample {
public static void main(String[] args) {
// 创建Spark配置
SparkConf conf = new SparkConf().setAppName("Gro