作者：原上野

設計：Cindy

編輯：AI君

在開發過程中經常會遇見排序的場景，比如取top N的問題，這時候row_number(),rank,dense_ran()這三個函數就派上用場了，其中，row_number()最為常用。

雖然都可以排序，但是他們之間還有點細微的區別，具體的差異請參閱下面的實例;本文除了這三個函數外，還簡單介紹了下NTILE() over()這個函數。

開始之前先在hive準備一張表dw_table_test,數據如下：

1

row_number() over()

(a) row_number() over()分組排序功能

注意：在使用 row_number() over()函數時候，over()里的分組以及排序的執行晚于 where group by order by 的執行。

partition by用于給結果集分組，如果沒有指定那么它把整個結果集作為一個分組，它和聚合函數不同的地方在于它能夠返回一個分組中的多條記錄，而聚合函數一般只有一個反映統計值的記錄。

如下例子，根據每url進行分組，按照pv從高到低排序

Sql：select url, pv,row_number() over(partition by url order by pv desc) as rn from dw_table_test;

結果：

(b)row_number() over()無分組排序

如下例子，按照pv從高到低排序

Sql：select url, pv,row_number() over(order by pv desc) as rn from dw_table_test;

結果：

2

rank() over()

rank() over()是跳躍排序，有兩個第二名時接下來就是第四名。

(a)rank() over()分組排序功能

如下例子，根據每url進行分組，按照pv從高到低排序

Sql：select url,pv,rank() over(partition by url order by pv desc) as rn From dw_table_test;

結果：

(b) rank() over()無分組排序

如下例子,按照pv從高到低排序

Sql：select url,pv,rank() over(order by pv desc) as rn From dw_table_test;

結果：

3

dense_rank() over()

dense_rank() over()是連續排序，有兩個第二名時仍然跟著第三名，而row_number是沒有重復值的。

(a)dense_rank () over()分組排序功能

如下例子，根據每url進行分組，按照pv從高到低排序

Sql:select url,pv, dense_rank() over(partition by url order by pv desc) as rn from dw_table_test;

結果：

(b)dense_rank () over()無分組排序

如下例子，按照pv從高到低排序

Sql:select url,pv, dense_rank() over(order by pv desc) as rn from dw_table_test;

結果：

4

NTILE() over()

NTILE(n)，屬于分析函數，用于將分組數據按照順序切分成n片，返回當前切片值,如果切片不均勻，默認增加第一個切片的分布。

(a)NTILE() over()有分組

如下例子，根據url進行分組，按照pv從高到低排序將數據拆成兩份

Sql：select url,pv,NTILE(2) over(partition by url order by pv desc ) as rn from dw_table_test;

結果：

(b)NTILE() over()無分組

如下例子，按照pv從高到低排序將數據拆成兩份

Sql：select url,pv,NTILE(2) over(order by pv desc ) rn from dw_table_test;

結果：

5

總結

通過上面的事例可以很輕易區分它們，以便應用于不同的場景;還有一點需要注意就是：在以上提到的四個窗口函數中，都不支持ROWS BETWEEN/ RANGE BETWEEN, ROWS BETWEEN表示在當前行之間，RANGE BETWEEN表示在當前值范圍內;而類似于sum，count這樣的聚合函數是可以這樣使用，比如下面的實例。

原始數據

Sql:

Select * from dw_table_test order by date_time desc;

處理后

rows between 1 preceding and 1 following表示在當前行上下一行之間的范圍內

sql：select url,date_time,sum(pv) over(order by date_time desc rows between 1 preceding and 1 following) as rn from dw_table_test;

結果：

總結

以上是生活随笔為你收集整理的hive 窗口函数_Datatist科技专栏 | Hive排序窗口函数速学教程！的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。