我有一个从外部源获取数据的 JavaDStream。我正在尝试集成 Spark Streaming 和 SparkSQL。众所周知,JavaDStream 是由 JavaRDD 的 .当我有 JavaRDD 时,我只能应用函数 applySchema()。请帮我将其转换为 JavaRDD。我知道 Scala 中有函数,而且它更容易。但是在Java中帮助我。
最佳答案
您不能将 DStream 转换为 RDD。正如您提到的,DStream 包含 RDD。访问 RDD 的方法是使用 foreachRDD
将函数应用于 DStream 的每个 RDD。查看文档:https://spark.apache.org/docs/1.1.0/api/java/org/apache/spark/streaming/api/java/JavaDStreamLike.html#foreachRDD(org.apache.spark.api.java.function.Function2)
关于java - 将 JavaDStream<String> 转换为 JavaRDD<String>,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/26667435/