4 | Java Spark实现 WordCount

简单的 Java Spark 实现 WordCount 的教程，它将教您如何使用 Apache Spark 来统计文本文件中每个单词的出现次数。

首先，确保您已经安装了 Apache Spark 并设置了运行环境。您需要准备一个包含文本内容的文本文件，以便对其进行 WordCount 分析。

代码

package com.bigdata;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import scala.Tuple2;

import java.util.Arrays;


public class WordCount {
    public static void main(String[] args) {

        // 配置 Spark
        SparkConf conf = new SparkConf()
                .setAppName("WordCount")
                .setMaster("local[*]"); // 使用本地模式，[*] 表示使用所有可用核心


        // 创建SparkContext
        JavaSparkContext sc = new JavaSparkContext(conf);


        // 获取资源文件路径
        String resourcePath = WordCount.class.getClassLoader().getResource("input.txt").getPath();


        // 读取文本
        JavaRDD<String&g