日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當(dāng)前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

hadoop(6)——mrjob的使用(2)——交给hadoop集群

發(fā)布時(shí)間:2024/4/18 编程问答 31 豆豆
生活随笔 收集整理的這篇文章主要介紹了 hadoop(6)——mrjob的使用(2)——交给hadoop集群 小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

(1)開啟hdfs和yarn服務(wù)

(2)查看寫好的文件(同上一篇hadoop(5))

(3)執(zhí)行命令

(4)任務(wù)完成


(5)查看output

ps:中間遇到了很多坑,比如說在執(zhí)行該命令向前,一定要先hadoop fs -rm -r /output,不然已經(jīng)建立了該文件夾hadoop會報(bào)錯(cuò)
還有就是如果在虛擬環(huán)境下創(chuàng)建該任務(wù),除了(3)的命令外,一定要加上–
python-bin +/python解釋器的位置參數(shù)
還有就是一定要把safe模式關(guān)掉:hdfs dfsadmin -safemode leave

總結(jié)

以上是生活随笔為你收集整理的hadoop(6)——mrjob的使用(2)——交给hadoop集群的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。