目前，我的spark应用程序在CDH.5.14中运行没有问题。
Caused by: java.lang.IllegalArgumentException: Unrecognized Hadoop major version number: 3.0.0-cdh6.1.0
升级到6.1.0后，请执行spark session 创建问题。
Caused by: java.lang.ExceptionInInitializerError
at org.apache.hadoop.hive.conf.HiveConf.<clinit>(HiveConf.java:105)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:348)
at org.apache.spark.util.Utils$.classForName(Utils.scala:238)
at org.apache.spark.sql.SparkSession$.hiveClassesArePresent(SparkSession.scala:1117)
at org.apache.spark.sql.SparkSession$Builder.enableHiveSupport(SparkSession.scala:866)
... 7 more
Caused by: java.lang.IllegalArgumentException: Unrecognized Hadoop major version number: 3.0.0-cdh6.1.0
at org.apache.hadoop.hive.shims.ShimLoader.getMajorVersion(ShimLoader.java:174)
at org.apache.hadoop.hive.shims.ShimLoader.loadShims(ShimLoader.java:139)
at org.apache.hadoop.hive.shims.ShimLoader.getHadoopShims(ShimLoader.java:100)
at org.apache.hadoop.hive.conf.HiveConf$ConfVars.<clinit>(HiveConf.java:368)
... 15 more
最佳答案
我认为这是由于配置单元issue引起的。由于您的 hive jar版本与Hadoop 3.0不兼容。
我还使用Cloudera-Manager，并且解决此问题的方法是用 CDH版本替换相关的jar，例如'xxx-cdh{CDH-version}'。
以pom.xml为例:
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-hive_2.11</artifactId>
<version>2.4.0-cdh6.2.0</version>
<scope>runtime</scope>
</dependency>
关于apache-spark - 升级到CDH 6.1时Spark session 创建问题，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/54513848/