mapper.py和reducer.py文件內(nèi)容借鑒于如下博客： https://blog.csdn.net/marywang56/article/details/80395519

我們都知道hadoop是在java環(huán)境下完成的，但是通過hadoop-streaming這個java小程序，我們可以把python代碼放入hadoop中，然后通過stdin和stdout來進行數(shù)據(jù)的傳遞。
（1）開啟yarn
通過jps命令查看


（2）查看mapper.py和reducer.py

import sys # input comes from STDIN (standard input) for line in sys.stdin:line = line.strip()words = line.split()for word in words:print '%s\t%s' % (word, 1)

from operator import itemgetter import syscurrent_word = None current_count = 0 word = Nonefor line in sys.stdin:line = line.strip()word, count = line.split('\t', 1)try:count = int(count)except ValueError:continueif current_word == word:current_count += countelse:if current_word:print '%s\t%s' % (current_word, current_count)current_count = countcurrent_word = wordif current_word == word:print '%s\t%s' % (current_word, current_count)

（3）測試命令
<1>
先看hadoop.txt

<2>

可以看見mapper把每一個字符都分割了開來
<3>

可見sort函數(shù)將字母進行排序，對應(yīng)hadoop里的shuffle過程
<4>

這時可以看見模擬出了最后輸出的結(jié)果，將一樣的詞合并作為輸出
（4）用hadoop來實現(xiàn)
此時要寫好腳本，如圖：

（5）實行腳本


任務(wù)實行結(jié)束
（6）查看輸出結(jié)果

（7）可視化查看

如圖，此運算例已經(jīng)實行成功

總結(jié)

以上是生活随笔為你收集整理的hadoop（4）——用python代码结合hadoop完成一个小项目的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。