我们可以并行化java spark中的bean类吗?如果是,请提供相同的语法。如果否,那么如何在JavaRDD中加载bean类?

最佳答案

当然可以。唯一的要求是该类必须可序列化。

例:

public class A implements Serializable {
    private int x;
    public A() {}
    public A(int x) {this.x = x;}
    // getters and setters
}

// later in main class
import java.util.Arrays;
// later
JavaRDD<A> rdd = javaSparkContext.parallelize(Arrays.asList(new A(5)));

10-05 21:24