簡介：?以測試集群版本為例（EMR-4.4.1）—— Flink SQL Client 集成 Hive 使用文檔

作者：林志成，阿里云EMR產(chǎn)品團(tuán)隊技術(shù)支持，擁有多年開源大數(shù)據(jù)經(jīng)驗

1、以測試集群版本為例（EMR-4.4.1）

2、執(zhí)行命令如下

cp /opt/apps/ecm/service/flink/1.10-vvr-1.0.2-hadoop3.1/package/flink-1.10-vvr-1.0.2-hadoop3.1/conf/sql-client-defaults.yaml /etc/ecm/flink-conf/
并做如下修改

3、將配置分發(fā)到各個節(jié)點

（如果需要在別的集群也使用的話執(zhí)行以下步驟，以及所有拷貝jar的步驟在所有機(jī)器執(zhí)行）
scp /etc/ecm/flink-conf/sql-client-defaults.yaml root@emr-worker-1:/etc/ecm/flink-conf/
scp /etc/ecm/flink-conf/sql-client-defaults.yaml root@emr-worker-2:/etc/ecm/flink-conf/
...（這里參考后面，因為還有幾個jar需要拷貝）

4、拷貝jar包

start-cluster.sh
sql-client.sh embedded
會發(fā)現(xiàn)報錯如下：

原因是缺少jar包,執(zhí)行下面操作不然會有一系列報錯。
cd /usr/lib/flink-current/lib
sudo cp /lib/hive-current/lib/hive-exec-3.1.2.jar .
sudo wget?https://repo1.maven.org/maven2/org/apache/flink/flink-connector-hive_2.11/1.10.2/flink-connector-hive_2.11-1.10.2.jar
sudo wget?https://repo1.maven.org/maven2/org/apache/flink/flink-hadoop-compatibility_2.11/1.10.2/flink-hadoop-compatibility_2.11-1.10.2.jar
sudo wget?https://repo1.maven.org/maven2/org/apache/thrift/libfb303/0.9.3/libfb303-0.9.3.jar

5、啟動

start-cluster.sh
sql-client.sh embedded

下面是空的因為新集群沒有數(shù)據(jù)，下面到hive去創(chuàng)建點數(shù)據(jù)

重新執(zhí)行sql-client.sh embedded進(jìn)入SQL client發(fā)現(xiàn)已經(jīng)能看見了。

查詢發(fā)現(xiàn)報錯了。

6、排錯

排查了下看8081端口都沒有起來

最后發(fā)現(xiàn)是社區(qū)hive connector的兼容性問題，之前的沖突是1.10.2導(dǎo)致的，理論上vvr-1.10可以使用社區(qū)的hive-connector-1.10.x，這個問題在1.11里面已經(jīng)修復(fù)了。
所以我們換一下jar包。
mv flink-connector-hive_2.11-1.10.2.jar /tmp/
sudo wget?https://repo1.maven.org/maven2/org/apache/flink/flink-connector-hive_2.11/1.10.1/flink-connector-hive_2.11-1.10.1.jar

7、重新執(zhí)行

start-cluster.sh;sql-client.sh embedded


出現(xiàn)上圖所示就成功了。

原文鏈接

本文為阿里云原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

總結(jié)

以上是生活随笔為你收集整理的【阿里云EMR实战篇】以EMR测试集群版本为例，详解 Flink SQL Client 集成 Hive 使用步骤的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。