Data skew 很好理解，即數(shù)據(jù)傾斜。現(xiàn)實(shí)中的數(shù)據(jù)很多都不是正態(tài)分布的，譬如城市人口，東部沿海一個(gè)市的人口與西部地區(qū)一個(gè)市地區(qū)的人口相比，東部城市人口會(huì)多好幾倍。
postgresql的skew的優(yōu)化核心思想是"避免磁盤(pán)IO"。
優(yōu)化器往往會(huì)選擇小表和正態(tài)分布的表做inner table，這會(huì)導(dǎo)致 outer table要不更大，要不是非正態(tài)分布。如果outer table的表是非正態(tài)分布的話，會(huì)在batch0來(lái)處理那些most common value（MCV）
大致過(guò)程如下：
1、prepare skew hash table

• 確定skew hash table大小，默認(rèn)分配2%內(nèi)存
• 獲取outer table的MCV統(tǒng)計(jì)信息，對(duì)于每個(gè)mcv計(jì)算其hash值，并放到對(duì)應(yīng)的skew hash bucket中。由于此時(shí)沒(méi)有處理inner table，所以bucket應(yīng)該指向NULL。如果產(chǎn)生hash 沖突，采用線性掃描發(fā)，當(dāng)前slot被占用，則尋找下一個(gè)可以占用的slot。
• 填充skew hash table：掃描inner table構(gòu)建 main hashtable。如果tuple屬于skew hash table，且對(duì)應(yīng)的slot不為空，那就將tuple加入skew hash table，而非main hashtable。
  之后就是掃描outer table的probe階段了。
  若該tuple是MCV tuple，則到skew hash table中去尋找匹配。
  否則就進(jìn)到hybrid hash join算法的處理邏輯中。

這樣做的好處是，50%的mcv在batch0階段就處理好了，就可以節(jié)約50%的磁盤(pán)IO。
(也就是說(shuō)把常見(jiàn)數(shù)據(jù)放到了batch0中匹配，而且在batch0的處理是不需要從disk load 數(shù)據(jù)的，從而減少了IO)
參考：
全面解讀PostgreSQL和Greenplum的Hash Join

總結(jié)

以上是生活随笔為你收集整理的postgresql对于HashJoin算法的Data skew优化与MCV处理的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。