1.全局排序（Order By）

Order By：全局排序，一個Reducer

1．使用 ORDER BY 子句排序

ASC（ascend）: 升序（默認）

DESC（descend）: 降序

2．ORDER BY 子句在SELECT語句的結尾

3．案例實操?

（1）查詢員工信息按工資升序排列

hive (default)> select * from emp order by sal;

（2）查詢員工信息按工資降序排列

hive (default)> select * from emp order by sal desc;

• 按照別名排序

按照員工薪水的2倍排序

hive (default)> select ename, sal*2 twosal from emp order by twosal;

• 多個列排序

按照部門和工資升序排序

hive (default)> select ename, deptno, sal from emp order by deptno, sal ;

---

?

2.每個MapReduce內部排序（Sort By）

Sort By：每個Reducer內部進行排序，對全局結果集來說不是排序。

1．設置reduce個數

hive (default)> set mapreduce.job.reduces=3;

2．查看設置reduce個數

hive (default)> set mapreduce.job.reduces;

3．根據部門編號降序查看員工信息

hive (default)> select * from emp sort by empno desc;

4．將查詢結果導入到文件中（按照部門編號降序排序）

hive (default)> insert overwrite local directory '/opt/module/datas/sortby-result'select * from emp sort by deptno desc;

---

?

3.分區排序（Distribute By）

Distribute By：類似MR中partition，進行分區，結合sort by使用。

注意，Hive要求DISTRIBUTE BY語句要寫在SORT BY語句之前。

對于distribute by進行測試，一定要分配多reduce進行處理，否則無法看到distribute by的效果。

案例實操：

（1）先按照部門編號分區，再按照員工編號降序排序。

hive (default)> set mapreduce.job.reduces=3;hive (default)> insert overwrite local directory '/opt/module/datas/distribute-result' select * from emp distribute by deptno sort by empno desc;

---

?

4.Cluster By

當distribute by和sorts by字段相同時，可以使用cluster by方式。

cluster by除了具有distribute by的功能外還兼具sort by的功能。但是排序只能是升序排序，不能指定排序規則為ASC或者DESC。

1）以下兩種寫法等價

hive (default)> select * from emp cluster by deptno;hive (default)> select * from emp distribute by deptno sort by deptno;

注意：按照部門編號分區，不一定就是固定死的數值，可以是20號和30號部門分到一個分區里面去。

---

小結：

order by：會對輸入做全局排序，因此只有一個reducer（多個reducer無法保證全局有序）。只有一個reducer，會導致當輸入規模較大時，需要較長的計算時間。

sort by：不是全局排序，其在數據進入reducer前完成排序。

distribute by：按照指定的字段對數據進行劃分輸出到不同的reduce中。

cluster by：除了具有 distribute by 的功能外還兼具 sort by 的功能。

總結

以上是生活随笔為你收集整理的HOL中的四种排序，Order By、Sort By、Distribute By、Cluster By的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。