spark2.1：在RDD[unit].foreach(s=>{})内部调用sparkSession对象抛出NullPointException

问题代码：

val sample_data_combine_result=List(

(0,(List(FitModel(4022,1447.92,-8.38983306721434,2.0),FitModel(4021,1447.92,-8.38983306721434,2.0)),2)),

(1,(List(FitModel(1083,389.88,-11.057139857142857,3.0)),1)),

(2,(List(FitModel(4022,1447.92,-8.38983306721434,2.0),FitModel(4023,1447.92,-8.38983306721434,2.0),FitModel(4024,1447.92,-8.38983306721434,2.0)),3))

)

sample_data_combine_result.foreach(s=>{

    var fitResultItems: ListBuffer[FitModelWithSceneType] = myCallFunc(s._2._1,s._1)

    // 调试跟踪结果为：

    //fitResultItems=ListBuffer(

    //    FitModelWithSceneType(0,1,3.0,-3.9110667661835516,0.6989700043360189),

    //    FitModelWithSceneType(0,51,3.0,-3.9110667661835516,1.1760912590556813)

    //)

    // 此处代码抛出异常：

    spark.createDataFrame(fitResultItems).createOrReplaceTempView("temp_test")

    sql("select * from temp_test").show

})

替换方案：

替换方案：

val result=sample_data_combine_result.flatMap(s=>{

    var fitResultItems: ListBuffer[FitModelWithSceneType] = myCallFunc(s._2._1,s._1)

    fitResultItems

})
spark.createDataFrame(result).createOrReplaceTempView("temp_test")
sql("select * from temp_test").show
 

注意：如果你的业务可以，也可以把flatMap替换为map，我这里边是要求返回结果为一维List集合。