日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問(wèn) 生活随笔!

生活随笔

當(dāng)前位置: 首頁(yè) > 运维知识 > 数据库 >内容正文

数据库

Hive2.1.1的安装教程(元数据放在本地Mysql)

發(fā)布時(shí)間:2023/12/20 数据库 31 豆豆
生活随笔 收集整理的這篇文章主要介紹了 Hive2.1.1的安装教程(元数据放在本地Mysql) 小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

  • 目錄
    • 1.上傳tar包
    • 2.解壓
    • 3. 設(shè)置環(huán)境變量
    • 4.設(shè)置Hive的配置文件
    • 5.啟動(dòng)Hive
    • 6.安裝MySQL
    • 7.下載MySQL的驅(qū)動(dòng)包
    • 8.修改Hive的配置文件
    • 9.啟動(dòng)Hive
    • 10.查看MySQL數(shù)據(jù)庫(kù)

目錄

1.上傳tar包

jar包地址:http://hive.apache.org/downloads.html

2.解壓

tar -zxvf apache-hive-2.1.1-bin.tar.gz -C /usr/local/

進(jìn)入到/usr/local目錄下,將解壓后的文件重命名為hive-2.1.1

mv apache-hive-2.1.1-bin/ hive-2.1.1

3. 設(shè)置環(huán)境變量

export HIVE_HOME=/usr/local/hive-2.1.1 export PATH=$PATH:$HIVE_HOME/bin

使配置立即生效

source /etc/profile

hive沒(méi)有提供hive –version這種方式查看版本,執(zhí)行hive –help查看

4.設(shè)置Hive的配置文件

在目錄$HIVE_HOME/conf/下,執(zhí)行命令
cp hive-log4j2.properties.template hive-log4j2.properties拷貝一份重命名 ,并修改property.hive.log.dir = /usr/local/hive-2.1.1/logs/
暫時(shí)只配置這些

5.啟動(dòng)Hive

Hadoop集群要先啟動(dòng)

Starting from Hive 2.1, we need to run the schematool command below as an initialization step. For example, we can use “derby” as db type.$ $HIVE_HOME/bin/schematool -dbType <db type> -initSchema

這是Hive的官方文檔上描述的,Hive2.1的啟動(dòng)需要先執(zhí)行schematool命令
由于Hive默認(rèn)內(nèi)嵌的是derby數(shù)據(jù)庫(kù),先使用默認(rèn)的數(shù)據(jù)庫(kù)運(yùn)行
執(zhí)行schematool -dbType derby -initSchema進(jìn)行初始化


執(zhí)行命令hive進(jìn)入到Hive Shell操作

此時(shí)Hive安裝成功。
默認(rèn)情況下,Hive的元數(shù)據(jù)保存在了內(nèi)嵌的derby數(shù)據(jù)庫(kù)里,但一般情況下生產(chǎn)環(huán)境使用MySQL來(lái)存放Hive元數(shù)據(jù)。

6.安裝MySQL

參考:https://blog.csdn.net/qq_16633405/article/details/81872456

7.下載MySQL的驅(qū)動(dòng)包

下載MySQL的驅(qū)動(dòng)包放置到$HIVE_HOME/lib目錄下,本機(jī)使用的版本是mysql-connector-Java-5.1.36-bin.jar。

8.修改Hive的配置文件

在目錄$HIVE_HOME/conf/下,執(zhí)行命令cp hive-default.xml.template hive-site.xml拷貝重命名
將hive-site.xml里面的property屬性配置全部刪除,Hive會(huì)加載默認(rèn)配置。
添加如下內(nèi)容(只需要將最后兩個(gè)屬性更改為你mysql的用戶名和對(duì)應(yīng)的登錄密碼就OK了,其他全部照搬):

<configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value> <description>JDBC connect string for a JDBC metastore</description> </property><property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> </property><property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> <description>username to use against metastore database</description> </property><property> <name>javax.jdo.option.ConnectionPassword</name> <value>root</value> <description>password to use against metastore database</description> </property> </configuration>

9.啟動(dòng)Hive

Hadoop集群要先啟動(dòng)

9.1 執(zhí)行命令hive
出現(xiàn)不能實(shí)例化metadata的錯(cuò)誤

以及MySQL連接被拒絕的錯(cuò)誤

9.2 首先解決MySQL連接被拒絕問(wèn)題

mysql -uroot -proot grant all privileges on *.* to root@'spark' identified by 'root'; flush privileges; exit;


*.*代表全部數(shù)據(jù)庫(kù)的全部表授權(quán),也可以指定數(shù)據(jù)庫(kù)授權(quán),如test_db.*;
all privileges代表全部權(quán)限,也可以insert,update,delete,create,drop等;
允許root用戶在spark(Linux系統(tǒng)的主機(jī)名,IP映射)進(jìn)行遠(yuǎn)程登陸,并設(shè)置root用戶的密碼為root。
flush privileges告訴服務(wù)器重新加載授權(quán)表。

9.3 解決不能實(shí)例化metadata的錯(cuò)誤
Hive2.1的啟動(dòng)需要先執(zhí)行schematool命令進(jìn)行初始化

schematool -dbType mysql -initSchema


9.4 再次執(zhí)行hive,進(jìn)入到Hive Shell


此時(shí)Hive和MySQL連接安裝部署成功。

10.查看MySQL數(shù)據(jù)庫(kù)

hive-site.xml配置的是jdbc:mysql://spark:3306/hive?createDatabaseIfNotExist=true,即如果不存在hive數(shù)據(jù)庫(kù)會(huì)創(chuàng)建
默認(rèn)MySQL里的數(shù)據(jù)庫(kù)

此時(shí)在MySQL里查看數(shù)據(jù)庫(kù),多出了hive數(shù)據(jù)庫(kù)

總結(jié)

以上是生活随笔為你收集整理的Hive2.1.1的安装教程(元数据放在本地Mysql)的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。