日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

Hive 2.3.2 Installation Guide

發布時間:2025/3/18 编程问答 31 豆豆
生活随笔 收集整理的這篇文章主要介紹了 Hive 2.3.2 Installation Guide 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

Apache Hive是一個建立在Hadoop架構之上的數據倉庫。它能夠提供數據的精煉,查詢和分析。Hadoop之前已經安裝好了(Hadoop database安裝手冊),本文主要描述如何安裝配置hive。Hive框架如下圖所示:

一、MySQL配置
Metastore(元數據存儲)是一個獨立的關系型數據庫,Hive會在其中保存表模式和其他系統元數據,這里使用MySQL作為hive的元數據存儲(metastore)。

root@mydb01 ~]# mysql -U smsqw -p mysql> drop database metadb; mysql> create database metadb; mysql> grant all on metadb.* to smsqw@'%' identified by 'abcABC@12'; mysql> flush privileges;

二、Hive安裝配置
1、Hive下載與安裝

hadoop@bdi:~$ cd /u01/software hadoop@bdi:/u01/software$ wget http://mirrors.hust.edu.cn/apache/hive/stable-2/apache-hive-2.3.2-bin.tar.gz hadoop@bdi:/u01/software$ cd ../ hadoop@bdi:/u01$ mv apache-hive-2.3.2-bin hive

2、Hive環境變量設置
編輯.bashr文件,加入以下內容:

hadoop@bdi:~$ vi .bashrc export HIVE_HOME=/u01/hive export PATH=$PATH:$HIVE_HOME/bin export CLASSPATH=$CLASSPATH:/u01/hive/lib/*:. hadoop@bdi:~$ source .bashrc

3、Hadoop上創建文件夾

hadoop@bdi:~$ hadoop fs -mkdir /tmp hadoop@bdi:~$ hadoop fs -mkdir -p /user/hive/warehouse hadoop@bdi:~$ hadoop fs -chmod g+w /tmp hadoop@bdi:~$ hadoop fs -chmod g+w /user/hive/warehouse hadoop@bdi:~$ hadoop fs -ls / Found 3 items drwxr-xr-x - hadoop supergroup 0 2017-12-05 14:48 /hbase drwxr-xr-x - hadoop supergroup 0 2017-12-06 10:07 /user drwxrwx--- - hadoop supergroup 0 2017-12-05 10:13 /tmp hadoop@bdi:~$ hadoop fs -ls /user/hive Found 1 items drwxrwxr-x - hadoop supergroup 0 2017-12-06 10:07 /user/hive/warehouse

4、配置Hive
編輯hive-env.sh文件,加入以下內容:

hadoop@bdi:~$ cd $HIVE_HOME hadoop@bdi:/u01/hive/conf$ cp hive-env.sh.template hive-env.sh hadoop@bdi:/u01/hive/conf$ vi hive-env.sh ...... export HADOOP_HOME=/u01/hadoop

創建hive-site.xml文件,修改內容如下:

hadoop@bdi:/u01/hive/conf$ cp hive-default.xml.template hive-site.xml hadoop@bdi:/u01/hive/conf$ vi hive-site.xml


以上配置中包含了臨時工作目錄hive.exec.scratchdir,metastore的工作目錄hive.metastore.warehouse.dir,以及存儲Hive的元數據和表模式的MySQL數據庫的配置。
另外創建一個臨時目錄,替換掉hive-site.xml的所有包含 ${system:Java.io.tmpdir} 字段的 value,即路徑。否則,在執行hive命令時會報錯,如下圖所示:
hadoop@bdi:~$ mkdir $HIVE_HOME/iotmp
hadoop@bdi:~$ vi $HIVE_HOME/conf/hive-site.xml

5、初始化metastore schema
這里使用schematool離線工具來初始化,如下:

hadoop@bdi:/u01/hive/lib$ schematool -dbType mysql -initSchema -verbose SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/u01/hive/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/u01/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory] Metastore connection URL: jdbc:mysql://192.168.120.92:3306/metadb?useSSL=false Metastore Connection Driver : com.mysql.jdbc.Driver Metastore connection User: smsqw Starting metastore schema initialization to 2.3.0 Initialization script hive-schema-2.3.0.mysql.sql Connecting to jdbc:mysql://192.168.120.92:3306/metadb?useSSL=false Connected to: MySQL (version 5.7.20) Driver: MySQL Connector Java (version mysql-connector-java-5.1.44 ( Revision: b3cda4f864902ffdde495b9df93937c3e20009be )) Transaction isolation: TRANSACTION_READ_COMMITTED ...... 0: jdbc:mysql://192.168.120.92:3306/metadb> !closeall Closing: 0: jdbc:mysql://192.168.120.92:3306/metadb?useSSL=false beeline> beeline> Initialization script completed schemaTool completed

6、Hive測試驗證
到此,準備工作已經完成,接下來可以通過Hive CLI來驗證配置是否正確。創建數據庫以及表,并顯示表的schema信息。

hadoop@bdi:~$ hive --service metastore & hadoop@bdi:~$ hive SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/u01/hive/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/u01/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]Logging initialized using configuration in jar:file:/u01/hive/lib/hive-common-2.3.2.jar!/hive-log4j2.properties Async: true hive> show databases; OK default Time taken: 5.321 seconds, Fetched: 1 row(s) hive> create database if not exists hivedb; OK Time taken: 0.399 seconds hive> create table hivedb.htb01 (id int,name string); OK Time taken: 0.23 seconds hive> use hivedb; OK Time taken: 0.027 seconds hive> show tables; OK htb01 Time taken: 0.037 seconds, Fetched: 1 row(s) hive> show create table hivedb.htb01; OK CREATE TABLE `hivedb.htb01`(`id` int, `name` string) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' LOCATION'hdfs://192.168.120.95:9000/user/hive/warehouse/hivedb.db/htb01' TBLPROPERTIES ('transient_lastDdlTime'='1512562710') Time taken: 0.215 seconds, Fetched: 13 row(s)

參考文獻:
1、Hive Schema Tool
2、Tutorialspoint之Hive Installation
3、Hive常見問題匯總

總結

以上是生活随笔為你收集整理的Hive 2.3.2 Installation Guide的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。