使用PyHive操作Hive

1.環境：Cloudera

cloudera是一個hadoop的發行版，可以省去hadoop, hive等繁瑣的安裝，部署。

下載地址：https://www.cloudera.com/downloads.html

?

2.Python環境： Anaconda? ? 版本：Python 3.7

Anaconda是一個非常好用的Python環境，特別是安裝包的方便，可以不用pip，幾乎能想到的包都有。

因為使用的是linux版本的，在官網下載后是一個.sh文件

通過

$ sh Anacouda3-5.3.1-Linux-x86_64.sh

執行安裝

3.通過pyhive連接hive需要的Python包：

3.1?pyhive

3.2?thrift

3.3?sasl

共需要三個包

安裝完Anaconda后，在終端分別輸入

$conda pyhive

$conda thrift

$conda sasl

下載這些包

4.連接Hive

使用jupyter notebook

from pyhive import hive import pandas as pd cnn=hive.Connection(host='localhost', port='10000', username='hive') cursor=cnn.cursor() cursor.execute("show databases") data=pd.DataFrame(cursor.fetchall()) print(data.head())

?

這里為了顯示方便，導入了pandas庫，利用Dataframe去顯示返回的數據，因為將數據導入到了pandas里面，所以也可以直接利用查詢語句選出數據，導入到pandas進行分析。

注意！如果連接不成功可以在終端輸入

$ sudo service hive-server2 start

打開hiveService2借口, pyhive是通過這個接口與hive通訊的

?

總結

以上是生活随笔為你收集整理的使用PyHive操作Hive的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。