環(huán)境：浙江移動華為云平臺

云平臺大數(shù)據(jù)采用了?Kerberos 認(rèn)證。

開發(fā)歷程：

1、在寧波大數(shù)據(jù)實驗環(huán)境測試通過了JDBC實現(xiàn)從Hive抽取數(shù)據(jù)導(dǎo)入Oracle功能。

2、通過查看其它項目的數(shù)據(jù)庫訪問配置，知道了云平臺上的oracle配置。

3、獲取hive的jdbc訪問配置。但是無人知道，說保密不告知。

但是方法還是有的，從訪問前source的shell文件里，找到了眉目。

[deepen@vd26wyjl01 ~]$ cat login.sh source /app/deepen/jc_client/bigdata_env export KRB5CCNAME=/app/deepen/user_keytab/jc_deepen.cc kinit -kt /app/deepen/user_keytab/user.keytab jc_deepen klist

[deepen@vd26wyjl01 ~]$ beeline Connecting to jdbc:hive2://ip:24002,ip:24002,ip:24002,ip:24002,ip:24002/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2;sasl.qop=auth-conf;auth=KERBEROS;principal=hive/hadoop.hadoop.com@HADOOP.COM Debug is true storeKey false useTicketCache true useKeyTab false doNotPrompt false ticketCache is null isInitiator true KeyTab is null refreshKrb5Config is false principal is null tryFirstPass is false useFirstPass is false storePass is false clearPass is false Acquire TGT from Cache Principal is jc_deepen@HADOOP.COM Commit Succeeded 0: jdbc:hive2://ip:21066/>

通過辛苦的調(diào)配后，最后的配置如下：

HIVE_Kerberos_URL=jdbc:hive2://ip地址:21066/deepen_hive_db;principal=hive/hadoop.hadoop.com@HADOOP.COM HIVE_Kerberos_krb5_conf=/app/deepen/user_keytab/krb5.conf HIVE_Kerberos_User=jc_deepen@HADOOP.COM HIVE_Kerberos_krb5_Keytab=/app/deepen/user_keytab/user.keytab

ORACLE_DRIVER=oracle.jdbc.driver.OracleDriver ORACLE_URL=xxxxxx ORACLE_UserName =xxxx ORACLE_PassWord =xxxx

核心代碼：

// 創(chuàng)建連接private Connection getConnnection() throws Exception {/** 使用Hadoop安全登錄 **/org.apache.hadoop.conf.Configuration conf = new org.apache.hadoop.conf.Configuration();conf.set("hadoop.security.authentication", "Kerberos");//System.setProperty("java.security.krb5.conf", "/app/deepen/user_keytab/krb5.conf");System.setProperty("java.security.krb5.conf", krb5_conf);try {UserGroupInformation.setConfiguration(conf);//UserGroupInformation.loginUserFromKeytab("hive/hadoop.hadoop.com@HADOOP.COM", "/app/deepen/user_keytab/user.keytab");UserGroupInformation.loginUserFromKeytab(user, krb5_Keytab);} catch (IOException e1) {e1.printStackTrace();}Class.forName(driverName);Connection conn = DriverManager.getConnection(url);System.out.println("#####獲取Kerberos-Hive-conn成功：---"+conn.toString());return conn;}

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的JDBC实现从Hive抽取数据导入Oracle的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。