FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. Could not find status of job:job_1637104181115_796482:28:27’
終端報錯日志見上,信息較少,需要在yarn上查看更多日志信息
INFO [Thread-68] org.apache.hadoop.service.AbstractService: Service JobHistoryEventHandler failed in state STOPPED; cause: org.apache.hadoop.yarn.exceptions.YarnRuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.FSLimitException$PathComponentTooLongException): The maximum path component name limit of job
xx.jhist_tmp in directory /tmp/hadoop-yarn/staging/history/done_intermediate/ide is exceeded: limit=255 length=258
其中xx.jhist_tmp超長, 這部分是根據hive的jobname來決定的,默認是從hql中的開頭和結尾截取一部分,如果sql開頭或結尾有中文注釋的話,會被截取進來,并進行url編碼,導致超長。hive在historyserver無法獲得這個job的狀態,報開頭的錯誤。
同事在用hive臨時表時遇到了這個錯,就是因為 with tab as太短,把后面的中文注釋截取進來了,去掉中文注釋后問題解決。
with user_info as ( --注冊量: 注冊信息還有種解決辦法,增加job_name長度
set hive.jobname.length=10總結
以上是生活随笔為你收集整理的FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Execution Error, ret
- 下一篇: Hive报错FAILED: Execut