場景：兩個Hadoop平臺集群之間Hive表遷移。
思路：Hive表元數(shù)據(jù)和文件數(shù)據(jù)export到HDFS文件，通過Distcp將HDFS遷移到另一個集群的HDFS文件，再通過import在新Hive中建表；


1、原平臺：Hive表元數(shù)據(jù)和文件數(shù)據(jù)到export到平臺HDFS文件

? ?1）hive下執(zhí)行如下命令：

#export table conf_adsl_app to '/tmp/hive-export/conf_adsl_app';conf_adsl_app表的外部存儲路徑：hdfs://nameservice-ha/user/hive/warehouse/conf_adsl_app
? ?2）可以看到hdfs輸出目錄下有元數(shù)據(jù)和文件數(shù)據(jù)；

??

hadoop fs -ls /tmp/hive-export/conf_adsl_app/Found 2 items-rwxr-xr-x 3 hdfs supergroup 1309 2017-03-16 08:03 /tmp/hive-export/conf_adsl_app/_metadatadrwxr-xr-x - hdfs supergroup 0 2017-03-16 08:03 /tmp/hive-export/conf_adsl_app/data? 3）3）查看hadoop fs -cat /tmp/hive-export/conf_adsl_app/_metadata元文件
? ? ? 可看到文件路徑是：hdfs://nameservice-ha/user/hive/warehouse/conf_adsl_app
? ? ? 在新平臺下不存在/user/hive/warehouse/conf_adsl_app目錄，import時會自動生成相應目錄。


2、用distcp從原平臺將/tmp/hive-export/conf_adsl_app/下數(shù)據(jù)遷移到新平臺。
? ?注意下面用的distcp語法涉及到從非安全集群遷移到安全集群(kerberos)的操作。
? ?在新平臺執(zhí)行命令：

? ?

hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true -D dfs.checksum.type=CRC32 webhdfs://namenode ip:50070/tmp/hive-export/conf_adsl_app/ /flume/his/

可以看到新平臺/flume/his目錄下有文件：

hadoop fs -ls /flume/his/conf_adsl_app/ Found 2 items -rw-r--r-- 3 etl etl 1309 2017-03-16 08:49 /flume/his/conf_adsl_app/_metadata drwxr-xr-x - etl etl 0 2017-03-16 08:49 /flume/his/conf_adsl_app/data
3、新平臺：從HDFS文件import到Hive生成新表
? ?1)hive下執(zhí)行命令：

#import table new_conf_adsl_app from '/flume/his/conf_adsl_app';2)可以看到hive上新生成了new_conf_adsl_app表
? ? ?LOCATION
? ? ?'hdfs://c9/apps/hive/warehouse/cwh.db/new_conf_adsl_app'
? ?3)查看location目錄下hive表對應的文件

? ??

hadoop fs -ls /apps/hive/warehouse/cwh.db/new_conf_adsl_app Found 1 items -rwxrwxrwx 3 etl hdfs 18227 2017-03-16 08:51 /apps/hive/warehouse/cwh.db/new_conf_adsl_app/adsl_apps_20130829.txt

自此跨平臺Hive表遷移完成。

總結(jié)

以上是生活随笔為你收集整理的跨Hadoop平台Hive表export和import迁移的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。