hive數據備份方案

非分區表的備份

create table t_copy as select * from t_temp;

分區表的備份

第一種方式

創建表結構相同的備份表

create table tablepark_test like tablepark;

設置動態分區模式

set hive.exec.dynamic.partition.mode=nonstrict；

備份

insert overwrite table tablepark_test partition(year) select * from tablepark;

其中year是分區字段，這種方式因為要走mapreduce，所以效率比較低

第二種方式

msck修復分區
我們可以先復制出一張表結構和tablepark一樣的表,然后將tablepark表目錄下的數據拷貝到tablepark_test,然后使用分區表的msck指令去修復重新生成分區.

create table tablepark_test like tablepark; hdfs dfs -cp /user/hive/warehouse/ods_ticket_data.db/tablepark/* /user/hive/warehouse/ods_ticket_data.db/tablepark_test/ show partitions tablepark_test; //這時候查看分區還沒有值 msck repair table tablepark_test; //修復分區，將存在于HDFS上但不在metastore上的分區元信息添加到metastore show partitions tablepark_test; //這時候查看分區就有值了

注意：分區的目錄結構必遵循 /partition_name=partition_value/結構，否則msck無法自動添加分區。

總結

以上是生活随笔為你收集整理的hive数据备份方案的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。