2019獨角獸企業重金招聘Python工程師標準>>>

hive的結構圖：

?

hive中最重要的就是Compiler解析器，hive當客戶端提交一條sql，Driver將sql提交給compiler,compiler和dirver交互拿到meatastore中元數據信息，經過解析生成mapreduce任務提交給driver，driver再將任務提交給hadoop。

compiler執行流程

Parser:將sql字符串轉換成為Parser? Tree的形式（此法分析，語法分析，轉化成為Tree）（AST：抽象查詢樹）

Semantic? Analyzer：(語義解析)通過遞歸下降的方式將Parser Tree 轉換為查詢塊的圖，并填充元數據和校驗（QB：查詢塊）

Logical Plan? Generator：轉換成一系列的邏輯執行計劃，也就是邏輯操作符構成的樹。（Operator Tree：操作符構成的圖）

Logical Optimizer：對邏輯執行計劃生成的Operators圖改寫。（如相同key的join的改寫）（Operator Tree：操作符構成的圖）

Physical Plan? Generator：物理執行計劃，將邏輯執行計劃切分、改寫成為物理執行計劃（M/R作業，客戶端操作等）（Task Tree:由Task構成的有向無環圖）

Physical Optimizer：優化物理執行計劃（Task Tree:由Task構成的有向無環圖）

邏輯優化器

謂詞下推優化器：就是將where條件如果可能在join前提前處理。

72

?

?

?

轉載于:https://my.oschina.net/captainliu/blog/1575548

總結

以上是生活随笔為你收集整理的1、Hive原理及查询优化的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。