我有带有Apache Spark 1.5.0的Cloudera CDH 5.2.2集群。
是否可以使用带有数据集API的Apache Spark 2.0在此集群应用程序上运行？理想的光泽设置不要更改。
我尝试使用maven-shade-plugin运行内置到JAR Spark 2.0.0的程序，但是不起作用(NoSuchMethodException)。
最佳答案
如果要使用Spark 2.0.0功能，则群集应正在运行Spark 2.0.0。我认为没有解决方法。抛出诸如NoSuchMethodExeception之类的异常是因为您使用的方法或方法的签名已从1.5.0更改为2.0.0，因此群集无法理解它们。