mrjob可以實現用python開發在Hadoop上實行
mrjob程序可以在本地測試運行也可以部署到Hadoop集群上運行
（1）首先，要在自己的python虛擬環境中安裝mrjob庫
pip install mrjob
完成后通過pip list查看是否安裝成功

（2）寫好python文件：

from mrjob.job import MRJobclass MRJobCount(MRJob):def mapper(self, key, line):yield "chars_number", len(line)yield "words_number", len(line.split())yield "lines_number", 1def reducer(self, key, values):yield key, sum(values) if __name__ == '__main__':MRJobCount.run()

（3）寫好測試文件：

（4）實行命令查看結果

統計成功

總結

以上是生活随笔為你收集整理的hadoop（5）——mrjob的使用（1）——直接在本地测试的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。