Tez 0.9安装部署+hive on tez配置 + Tez-UI
Tez說明
將xyz替換為您正在使用的tez發(fā)行版號。例如0.5.0。對于Tez版本0.8.3和更高版本，Tez需要Apache Hadoop版本為2.6.0或更高版本。對于Tez版本0.9.0及更高版本，Tez需要Apache Hadoop版本為2.7.0或更高版本。
關(guān)于版本
1.Hadoop 2.7.0+（我的是2.7.1）
2.Tez還需要Protocol Buffers 2.5.0，包括protoc編譯器。(如果你下載的是apache-tez-0.9.0-src.tar.gz包則需要編譯，需要Protocol Buffers 2.5.0)
3.Maven3+
4.Hive 2.1.1
5.tez-0.9.0
protobuf-2.5.0安裝
(注：如果下載的是apache-tez-0.9.0-bin.tar.gz則不需要編譯?？梢蕴^這一步，建議下載bin)
1.下載源碼
2.解壓
3.編譯安裝
cd protobuf-2.5.0 ./configure make make install protoc --version #驗證是否安裝成功安裝部署tez
1.下載地址
這里可以選擇
apache-tez-0.9.0-src.tar.gz
apache-tez-0.9.0-bin.tar.gz(建議下載這個，感覺src編譯遇到好多問題。)
2.編譯
a.方式一
我們先來說apache-tez-0.9.0-src.tar.gz
b.方式二
apache-tez-0.9.0-bin.tar.gz（不需要編譯）
3.將tez的壓縮包put到hdfs上去
a.方式一
所在文件目錄
apache-tez-0.9.0-src/target
b.方式二
所在文件目錄
apache-tez-0.9.0-bin/share
（注：后面的步驟就一樣了）
hadoop fs -mkdir -p /user/tez hadoop fs -put tez.tar.gz /user/tez4.在hadoop/etc/hadoop下創(chuàng)建tez-site.xml文件并寫上如下配置
vi tez-site.xml <configuration> <property> <name>tez.lib.uris</name> <value>${fs.defaultFS}/user/tez/tez.tar.gz</value> <!-- 這里指向hdfs上的tez.tar.gz包 --> </property> <property> <name>tez.container.max.java.heap.fraction</name> <!-- 這里是因為我機器內(nèi)存不足，而添加的參數(shù) --> <value>0.2</value> </property> </configuration>保存后將文件復(fù)制到別的節(jié)點
5.修改hadoop-env.sh追加下列幾行
TEZ_CONF_DIR=/usr/local/hadoop/etc/hadoop/tez-site.xml TEZ_JARS=/usr/local/tez/apache-tez-0.9.0-bin export HADOOP_CLASSPATH=${HADOOP_CLASSPATH}:${TEZ_CONF_DIR}:${TEZ_JARS}/*:${TEZ_JARS}/lib/*保存后將hadoop-env.sh分發(fā)到集群的各個節(jié)點。
6.重啟hadoop
7.啟動hive
set hive.execution.engine=tez;如果想要恢復(fù)使用mapreduce
set hive.execution.engine=mr;- ?
（從時間講，速度似乎是快了三倍。yummm~~~）
8.在配置文件中設(shè)置執(zhí)行引擎為tez
如果不想每次進入hive都
- ?
可以在hive的conf目錄下修改hive-site.xml
vi hive-site.xml- ?
保存之后再重啟，再執(zhí)行操作就會默認(rèn)執(zhí)行引擎為tez了。
設(shè)置tez-ui
需要先安裝Tomcat
1.找到war包
因為我安裝的是bin所以在安裝包中就有tez-ui-0.9.0.war
自己編譯的話也有生成，在這里不做過多贅述。
2.將tez-ui部署在tomcat
#在webapps下創(chuàng)建tez-ui目錄 mkdir /usr/local/apache/apache-tomcat-8.5.31/webapps/tez-ui#進入文件 cd /usr/local/apache/apache-tomcat-8.5.31/webapps/tez-ui#解壓war包 unzip tez-ui-0.9.0.war#編輯配置文件 vim config/configs.env3.配置timelineserver
目錄：/usr/local/hadoop/etc/hadoop
vim yarn-site.xml添加以下內(nèi)容.然后分發(fā)到各個節(jié)點。
<!-- conf timeline server --><property><name>yarn.timeline-service.enabled</name><value>true</value></property><property><name>yarn.timeline-service.hostname</name><value>tmaster</value></property><property><name>yarn.timeline-service.http-cross-origin.enabled</name><value>true</value></property><property><name> yarn.resourcemanager.system-metrics-publisher.enabled</name><value>true</value></property><property><name>yarn.timeline-service.generic-application-history.enabled</name><value>true</value></property><property><description>Address for the Timeline server to start the RPC server.</description><name>yarn.timeline-service.address</name><value>tmaster:10201</value></property><property><description>The http address of the Timeline service web application.</description><name>yarn.timeline-service.webapp.address</name><value>tmaster:8188</value></property><property><description>The https address of the Timeline service web application.</description><name>yarn.timeline-service.webapp.https.address</name><value>tmaster:2191</value></property><property><name>yarn.timeline-service.handler-thread-count</name><value>24</value></property>- vim tez-site.xml添加下列幾行，分發(fā)到各個節(jié)點。
- 4.啟動hadoop
5.啟動timelineserver
yarn-daemon.sh start timelineserver- 6.啟動tomcat
- 訪問界面
http://192.168.205.70:8880/tez-ui/
參考資料：
1.Tez網(wǎng)站
2.Tez設(shè)計文檔
3.The Stinger Initiative: Making Apache Hive 100 Times Faster
4.hive on tez
總結(jié)
以上是生活随笔為你收集整理的Tez 0.9安装部署+hive on tez配置 + Tez-UI的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Mybatis+Tomcat使用JNDI
- 下一篇： EasyExcel入门使用