CREATE EXTERNAL

TABLE IF NOT EXISTS data_zh(

ROWKEY STRING,

STATION INT,

YEAR INT,

MONTH INT,

DAY INT,

HOUR INT,

MINUTE INT,

)

PARTITIONED BY (AGE INT)

指定分區(此列并沒真正存儲列，也就是不存于你的數據中。但是如果你的數據從Oracle按年份導出，按照年份分區，把每一年數據放到age對應的目錄下)

ROW FORMAT DELIMITED

FIELDS TERMINATED BY ‘,’

字段分隔符

LINES TERMINATED BY ‘\n’ 行分隔符

STORED AS TEXTFILE; 作為文本存儲

Hive加載數據到表中

加載數據

LOAD DATA INPATH

‘/data/’ OVERWRITE INTO TABLE data_zh;

#加載某個目錄下所有數據，存在分區數據不能這樣加載

分區加載數據

創建分區

ALTER TABLE data_zhp ADD PARTITION(AGE= 1998)

加載數據

LOAD DATA INPATH ‘/data/1998.txt’ INTO TABLE data_zhp

PARTITION(YEAR=1998);

指定分區目錄

LOCATION ‘

/hiveuser/hive/warehouse/data_zh.db/data_zh/2012.txt’;(指定分區所在位置)

加載數據到指定分區，分區表加載方法

下面為將現有表，修改為分區表。注意創建分區的時候未指定分區表，不能創建分區。需要新建表哥，用動態分區導入數據，動態分區數量有限。參考Programming

Hive記得最大上限應該是10000

Hive修改現有表添加分區

添加分區

ALTER TABLE data_zh ADD IF NOT EXISTS

PARTITION (year = 1998) LOCATION

‘/hiveuser/hive/warehouse/data_zh.db/data_zh/1998.txt’

刪除分區

ALTER TABLE data_zhp DROP IF EXISTS PARTITION(year =1998);

修改現有表添加分區

創建分區表

CREATE EXTERNAL TABLE IF NOT EXISTS data_zhp(

ROWKEY STRING,

STATION INT,

MONTH INT,

DAY INT,

HOUR INT,

MINUTE INT,

)

PARTITIONED BY (YEAR INT)

ROW FORMAT DELIMITED

FIELDS TERMINATED BY ‘,’

LINES TERMINATED BY ‘\n’

STORED AS TEXTFILE;

動態分區指令

set

hive.exec.dynamic.partition=true;

set hive.exec.dynamic.partition.mode=nonstrict;

#set hive.enforce.bucketing = true;

未分區表數據導入分區表

insert overwrite table data_zhp partition (YEAR,MONTH) select *

from data_zh;

總結

以上是生活随笔為你收集整理的hive创建分区表 指定分隔符_HIVE 对于分区表的操作的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。