Hive基于HADOOP來執行分布式程序的，和普通單機程序不同的一個特點就是最終的數據會產生多個子文件，每個reducer節點都會處理partition給自己的那份數據產生結果文件，這導致了在HADOOP環境下很難對數據進行全局排序，如果在HADOOP上進行order by全排序，會導致所有的數據集中在一臺reducer節點上，然后進行排序，這樣很可能會超過單個節點的磁盤和內存存儲能力導致任務失敗。

一種替代的方案則是放棄全局有序，而是分組有序，比如不求全百度最高的點擊詞排序，而是求每種產品線的最高點擊詞排序。

使用order by會引發全局排序select * from baidu_click order by click desc;

使用distribute和sort進行分組排序select * from baidu_click distribute by product_line sort by click desc;

distribute by + sort by就是該替代方案，被distribute by設定的字段為KEY，數據會被HASH分發到不同的reducer機器上，然后sort by會對同一個reducer機器上的每組數據進行局部排序。

order by是全局有序而distribute+sort是分組有序

distribute+sort的結果是按組有序而全局無序的，輸入數據經過了以下兩個步驟的處理：

1) 根據KEY字段被HASH，相同組的數據被分發到相同的reducer節點；

2) 對每個組內部做排序

由于每組數據是按KEY進行HASH后的存儲并且組內有序，其還可以有兩種用途：

1) 直接作為HBASE的輸入源，導入到HBASE；

2) 在distribute+sort后再進行orderby階段，實現間接的全局排序；

不過即使是先distribute by然后sort by這樣的操作，如果某個分組數據太大也會超出reduce節點的存儲限制，常常會出現137內存溢出的錯誤，對大數據量的排序都是應該避免的。

相關推薦

總結

以上是生活随笔為你收集整理的python中的order_Hive中Order by和Sort by的区别是什么?的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。