hadoop(6)——mrjob的使用(2)——交给hadoop集群
生活随笔
收集整理的這篇文章主要介紹了
hadoop(6)——mrjob的使用(2)——交给hadoop集群
小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
(1)開啟hdfs和yarn服務(wù)
(2)查看寫好的文件(同上一篇hadoop(5))
(3)執(zhí)行命令
(4)任務(wù)完成
(5)查看output
ps:中間遇到了很多坑,比如說在執(zhí)行該命令向前,一定要先hadoop fs -rm -r /output,不然已經(jīng)建立了該文件夾hadoop會報(bào)錯(cuò)
還有就是如果在虛擬環(huán)境下創(chuàng)建該任務(wù),除了(3)的命令外,一定要加上–
python-bin +/python解釋器的位置參數(shù)
還有就是一定要把safe模式關(guān)掉:hdfs dfsadmin -safemode leave
總結(jié)
以上是生活随笔為你收集整理的hadoop(6)——mrjob的使用(2)——交给hadoop集群的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: hadoop(5)——mrjob的使用(
- 下一篇: hive(2)——hive基本操作