如果我們想在hive中添加自己寫的函數(shù)，可用如下方法：
前提：已經(jīng)開啟hdfs，yarn服務(wù)，并且關(guān)閉safe模式，打開mysql
ps：udf是mapper類型的，進(jìn)來一個(gè)數(shù)據(jù)，出去一個(gè)數(shù)據(jù)
（1）用python寫好想要實(shí)現(xiàn)的函數(shù)
這里我的測(cè)試表是這樣一份表，我想讓此表的state字段都變成大寫，所以我編輯了如下python腳本：


編輯的腳本py_udf（udf前面已經(jīng)解釋）如下：

import sys for line in sys.stdin:line = line.strip()team,state,rank = line.split()state = state.upper()print( ' '.join([team,state,str(rank)]))

（2）加入路徑（至關(guān)重要的一步）
這份文件在本地路徑下

（3）實(shí)現(xiàn)語句TRANSFORM

可見，california和colorado已經(jīng)大寫，成功輸出，這里要使用TRANSFORM 前面的‘（）’的參數(shù)是你表中的字段，也就是desc查出來的字段，而后面的‘（）’的參數(shù)是你pyhon腳本里輸出的參數(shù)。
可以在yarn可視化界面查看該任務(wù)：

總結(jié)

以上是生活随笔為你收集整理的hive（3）——在hive中使用自己写的函数（python实现）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。