我正在围绕spark项目编写一些JUnit单元测试。
我尝试测试的功能之一接受JavaRDD作为参数，我想以编程方式创建该JavaRDD，然后从列表转换为RDD似乎是最合乎逻辑的方法。
How to convert List to JavaRDD建议我使用JavaSparkContext.parallelize(List)。但是，由于在单元测试中正在执行此操作，因此我不想实例化SparkContext对象。
最佳答案
这并不是真正的选择，您需要使用Spark上下文来创建RDD。一种选择是使用spark-testing-base（也在spark packages上）（我是作者）创建用于测试用途的spark上下文。如果有帮助的话，我可以扩展它以提供一个提供JavaSparkContext的基类？
关于java - 从列表创建JavaRDD而不使用SparkContext，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/30494686/