spark任務提交cdh集群yarn模式執行報錯：

Exception in thread "main" java.lang.ExceptionInInitializerError
?? ?at org.apache.hadoop.hive.conf.HiveConf.<clinit>(HiveConf.java:105)
?? ?at java.lang.Class.forName0(Native Method)
?? ?at java.lang.Class.forName(Class.java:348)
?? ?at org.apache.spark.util.Utils$.classForName(Utils.scala:238)
?? ?at org.apache.spark.sql.SparkSession$.hiveClassesArePresent(SparkSession.scala:1117)
?? ?at org.apache.spark.sql.SparkSession$Builder.enableHiveSupport(SparkSession.scala:866)
?? ?at com.tyx.ml.Run$.main(Run.scala:26)
?? ?at com.tyx.ml.Run.main(Run.scala)
Caused by: java.lang.IllegalArgumentException: Unrecognized Hadoop major version number: 3.0.0-cdh6.3.2
?? ?at org.apache.hadoop.hive.shims.ShimLoader.getMajorVersion(ShimLoader.java:174)
?? ?at org.apache.hadoop.hive.shims.ShimLoader.loadShims(ShimLoader.java:139)
?? ?at org.apache.hadoop.hive.shims.ShimLoader.getHadoopShims(ShimLoader.java:100)
?? ?at org.apache.hadoop.hive.conf.HiveConf$ConfVars.<clinit>(HiveConf.java:368)
?? ?... 8 more
?

解決辦法：

打開pom文件

注釋掉：

<dependency><groupId>org.apache.spark</groupId><artifactId>spark-hive_2.11</artifactId><version>${spark.version}</version> </dependency>

?

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的Unrecognized Hadoop major version number: 3.0.0-cdh6.3.2的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。