目錄

• hive on spark報錯：Failed to create Spark client for Spark session
• hive格式化報錯Error
• hive執行sql語句報錯：org.apache.hadoop.hdfs.BlockMissingException:Could not obtain block
• hive啟動報錯：Name node is in safe mode.
• 遠程連接長時間不用自動關閉報錯：kernel:NMI watchdog: BUG: soft lockup - CPU#0 stuck for 22s! [java:25690]
• hive執行SQL語句報錯： Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
• hive執行mr任務報錯：FAILED: Execution Error, return code 2
• hivesql編寫出錯：The 2nd argument of EQUAL OR GREATER THAN is expected to a primitive type, but struct is found
• 通過hdfs往MySQL導入數據報錯：Application application_1634993702873_0004 failed 2 times due to AM Container for appattempt_1634993702873_0004_000002 exited with exitCode: -1000
• Kylin啟動報錯

hive on spark報錯：Failed to create Spark client for Spark session

??報錯：
hive on spark執行報錯：
org.apache.hadoop.hive.ql.parse.SemanticException:Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create Spark client for Spark session 65727339-603a-4fca-9df2-2f9d30e4b4a5

?解決方法：

報這個錯誤通常三個原因 詳情戳這里==>
but 今天這個難搞哦 因為我看了log還是說我的hive和spark的連接超時，于是又將連接時間設置大了一些，還是不可以！！
直到看到這條==>
就是說將默認的HADOOP_HEAPSIZE打開并且改大一點：

[xiaobai@hadoop102 conf]$ vim hive-env.sh.template [xiaobai@hadoop102 conf]$ mv hive-env.sh.template hive-env.sh

成功解決！

hive格式化報錯Error

??報錯：
hive格式化報錯Error: Table ‘CTLGS’ already exists (state=42S01,code=1050)
Closing: 0: jdbc:mysql://hadoop102:3306/metastore?useSSL=false

[xiaobai@hadoop102 conf]$ pwd /opt/module/hive/conf [xiaobai@hadoop102 conf]$ schematool -initSchema -dbType mysql -verbose

如圖：

?解決方法：
drop掉metastore，重新格式化！

hive執行sql語句報錯：org.apache.hadoop.hdfs.BlockMissingException:Could not obtain block

??報錯：
org.apache.hadoop.hdfs.BlockMissingException:Could not obtain block: BP-1094756810-192.168.10.102-1623427145615:blk_1073749943_9120 file=/warehouse/gmall/ods/ods_log/dt=2020-06-14/log-.1633960230693.lzo.index

是NN與DN失聯，導致block缺失，去Hadoop102上查看確實提示missing blocks。

?解決方法：
先關閉集群，再重新啟動集群！

[xiaobai@hadoop102 profile.d]$ stop-dfs.sh [xiaobai@hadoop102 profile.d]$ start-dfs.sh

hive啟動報錯：Name node is in safe mode.

??報錯：
hive啟動報錯：Name node is in safe mode.

org.apache.hadoop.ipc.RemoteException:Cannot create directory /tmp/hive/xiaobai/4fcf1650-1799-4aa6-8e71-c2782ff8518b/hive_2021-10-12_23-30-18_676_2052862676230158523-1. Name node is in safe mode. The reported blocks 1948 has reached the threshold 0.9990 of total blocks 1948. The minimum number of live datanodes is not required. In safe mode extension. Safe mode will be turned off automatically in 17 seconds. NamenodeHostName:hadoop102

?解決方法：
強制離開safe mode！

[xiaobai@hadoop102 profile.d]$ hdfs dfsadmin -safemode leave Safe mode is OFF

遠程連接長時間不用自動關閉報錯：kernel:NMI watchdog: BUG: soft lockup - CPU#0 stuck for 22s! [java:25690]

??報錯：
遠程連接自動關閉 重啟報以下錯誤：
kernel:NMI watchdog: BUG: soft lockup - CPU#0 stuck for 22s! [java:25690]

原因分析：
系統或者網絡占用過多CPU，造成內核軟死鎖（soft lockup）。
**Soft lockup名稱解釋：**不會讓系統徹底死機，但是若干個進程（或者kernel thread）被鎖死在了某個狀態（一般在內核區域），很多情況下這個是由于內核鎖的使用的問題。
?解決方法：
我重啟就解決了！相關問題可參考??
參考1==>
參考2==>
參考3==>

hive執行SQL語句報錯： Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

??報錯：
[2021-10-19 19:45:38] [08S01][2] Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

?解決方法：
這個真的困擾了我好久啊啊啊啊啊！！！ 跟著改了n多配置無用。
就在1019日大概晚上八點 突然看到一篇文章醍醐灌頂的感覺，就是說hive sql return code 2 是一種常見的官方報錯方式，每個人的錯誤可能都不一樣，但是一定要去yarn上查看log
具體請看這里== 》

于是我去查看了yarn job diagnostics，很明顯內存超出了！可是我之前已經改到虛擬內存最大了，沒辦法只好改大了虛擬機內存，再次調整yarn容器允許分配的最大最小內存和yarn容器允許管理的物理內存大小！

hive執行mr任務報錯：FAILED: Execution Error, return code 2

??報錯：
[2021-10-19 22:06:07] [08S01][2] Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

?解決方法：
查看yarn 進度顯示succeed？！但是這里又報錯，點進去log里看也沒有看到任何報錯就很奇怪 之前也遇到過很很多次這個錯誤一直沒有得到解釋，直到刷到下面這條??
說是堆內存溢出導致的==>
由于我已經配置了yarn.scheduler.maximum-allocation-mb 和 yarn.scheduler.minimum-allocation-mb，故如圖配置以下兩個文件得以解決！！！

hivesql編寫出錯：The 2nd argument of EQUAL OR GREATER THAN is expected to a primitive type, but struct is found

??報錯：
hivesql編寫出錯：
[2021-10-20 23:03:33] org.apache.hadoop.hive.ql.exec.UDFArgumentTypeException:The 2nd argument of EQUAL OR GREATER THAN is expected to a primitive type, but struct is found
意思是EQUAL OR GREATER THAN 的第二個參數預期為原始類型，但我的卻是struct，這種就是低級錯誤 sql語句本身的問題，仔細查找到以下兩個錯誤特此標記 提醒自己🙅?♂?

?解決方法：

date_add()函數寫錯：

where dt>=date_add('2020-06-14',-recent_days+1)

正確的為：

where dt>=date_add('2020-06-14',-recent_days+1)

sum(if()): 少了if()

sum(cart_count>0,1,0) cart_count

正確的為：

sum(if(cart_count>0,1,0)) cart_count

通過hdfs往MySQL導入數據報錯：Application application_1634993702873_0004 failed 2 times due to AM Container for appattempt_1634993702873_0004_000002 exited with exitCode: -1000

??報錯：

通過hdfs往MySQL導入數據報錯：
2021-10-23 21:05:02,707 INFO mapreduce.Job: Job job_1634993702873_0004 failed with state FAILED due to: Application application_1634993702873_0004 failed 2 times due to AM Container for appattempt_1634993702873_0004_000002 exited with exitCode: -1000

?解決方法：

參考這條==>

執行以下命令：

[xiaobai@hadoop102 ~]$ hadoop classpath

將結果添加到yarn-site.xml中：

同步yarn-site.xml：

[xiaobai@hadoop102 hadoop]$ xsync yarn-site.xml

重啟yarn：

[hadoop102]$ sbin/stop-yarn.sh [hadoop102]$ sbin/start-yarn.sh

Kylin啟動報錯

??報錯：
啟動kylin時報錯：
ERROR: Check hive’s usability failed, please check the status of your cluster

?解決方法：
一定一定要檢查環境變量HADOOP_HOME，HIVE_HOME，HBASE_HOME，以及啟動hadoop(hdfs、yarn、jobhistory) / zookeeper / hive / hbase！

我的配置文件沒有問題，忘記啟動hive了，啟動后成功！

總結

以上是生活随笔為你收集整理的大数据电商数仓--记录各种奇奇怪怪的issue的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。