我有一个Spark流媒体应用程序,为了让它更整洁,我已经重新设置了构建路径。
重新导入所有jar文件后,出现了我从未有过的错误:
java - 重置构建路径后不接受Iterator <String>-LMLPHP
这怎么可能?我该如何解决?

static FlatMapFunction<Tuple2<String, String>, String> sentimentFunc = new FlatMapFunction<Tuple2<String, String>, String>(){
        private static final long serialVersionUID = 1L;


        @Override
        public Iterator<String> call(Tuple2<String, String> x) throws Exception {
            List<String> output = new ArrayList<String>();
            if(x._2==null){
                output.add("ERR");
                return output.iterator();
            }
            boolean like = false, sad = false, angry = false, hilarious = false, neutral = false;
            boolean [] sentiments = {like, angry, sad, hilarious, neutral};
            sentiments = checkEmojis(x, sentiments);
            if(checkSentiment(sentiments)){
                output.add(setSentiment(sentiments));
                return output.iterator();
            }

            sentiments = checkText(x, sentiments);
            output.add(setSentiment(sentiments));
            return output.iterator();
        }

  };

最佳答案

在Spark 1.x中,callFlatMapFunction返回类型为Iterable

在Spark 2.x中,callFlatMapFunction返回类型已更改为Iterator

看来,当您重置构建路径时,您将其更改为指向spark 1.x而不是2.x,从而使所有平面地图功能失效。

07-25 23:51
查看更多