我有一个Spark流媒体应用程序,为了让它更整洁,我已经重新设置了构建路径。
重新导入所有jar文件后,出现了我从未有过的错误:
这怎么可能?我该如何解决?
static FlatMapFunction<Tuple2<String, String>, String> sentimentFunc = new FlatMapFunction<Tuple2<String, String>, String>(){
private static final long serialVersionUID = 1L;
@Override
public Iterator<String> call(Tuple2<String, String> x) throws Exception {
List<String> output = new ArrayList<String>();
if(x._2==null){
output.add("ERR");
return output.iterator();
}
boolean like = false, sad = false, angry = false, hilarious = false, neutral = false;
boolean [] sentiments = {like, angry, sad, hilarious, neutral};
sentiments = checkEmojis(x, sentiments);
if(checkSentiment(sentiments)){
output.add(setSentiment(sentiments));
return output.iterator();
}
sentiments = checkText(x, sentiments);
output.add(setSentiment(sentiments));
return output.iterator();
}
};
最佳答案
在Spark 1.x中,call
的FlatMapFunction
返回类型为Iterable
。
在Spark 2.x中,call
的FlatMapFunction
返回类型已更改为Iterator
。
看来,当您重置构建路径时,您将其更改为指向spark 1.x而不是2.x,从而使所有平面地图功能失效。