優(yōu)化器的作用是優(yōu)化查詢語(yǔ)句的執(zhí)行效率，它通過(guò)評(píng)估不同的執(zhí)行計(jì)劃并選擇最優(yōu)的執(zhí)行計(jì)劃來(lái)實(shí)現(xiàn)這一目標(biāo)。

CBO: 一種基于成本的優(yōu)化器，它通過(guò)評(píng)估不同查詢執(zhí)行計(jì)劃的成本來(lái)選擇最優(yōu)的執(zhí)行計(jì)劃。CBO會(huì)根據(jù)數(shù)據(jù)庫(kù)系統(tǒng)定義的統(tǒng)計(jì)信息以及其他因素，對(duì)不同的執(zhí)行計(jì)劃進(jìn)行評(píng)估，并選擇成本最低的執(zhí)行計(jì)劃。CBO的目標(biāo)是找到一個(gè)最優(yōu)的執(zhí)行計(jì)劃，使得查詢的執(zhí)行成本最低。

RBO: 一種基于規(guī)則的優(yōu)化器，它通過(guò)應(yīng)用一系列的優(yōu)化規(guī)則來(lái)選擇最優(yōu)的執(zhí)行計(jì)劃。RBO會(huì)根據(jù)預(yù)定義的規(guī)則對(duì)查詢進(jìn)行優(yōu)化，這些規(guī)則基于數(shù)據(jù)庫(kù)系統(tǒng)的特定邏輯和語(yǔ)義。RBO的優(yōu)點(diǎn)是實(shí)現(xiàn)簡(jiǎn)單，適用于特定的查詢模式和數(shù)據(jù)分布。然而，RBO可能無(wú)法找到最優(yōu)的執(zhí)行計(jì)劃，特別是對(duì)于復(fù)雜的查詢和大規(guī)模的數(shù)據(jù)集。

Doris主要整合了Google Mesa（數(shù)據(jù)模型），Apache Impala（MPP查詢引擎)和Apache ORCFile (存儲(chǔ)格式，編碼和壓縮) 的技術(shù)。 Doris的查詢優(yōu)化器則是基于Impala改造實(shí)現(xiàn)的。Doris官方提供的 Nereids優(yōu)化器 文檔。

優(yōu)化器組件

查詢優(yōu)化器由多個(gè)部分組成，分別是: 詞法語(yǔ)法解析、語(yǔ)義解析、query改寫(xiě)、生成執(zhí)行計(jì)劃。最后這步根據(jù)算法實(shí)現(xiàn)與業(yè)務(wù)場(chǎng)景的不同會(huì)有些許差異。

詞法語(yǔ)法解析

這個(gè)步驟，其實(shí)是做兩件事情，首先是解析SQL文本，提取關(guān)鍵字出來(lái)，比如(select、from等); 然后分析SQL文本是否滿足SQL語(yǔ)法，最終生成一個(gè)AST樹(shù)。其結(jié)構(gòu)如下:

對(duì)于不同類型的SQL，其語(yǔ)法樹(shù)的根節(jié)點(diǎn)類型也是不一樣的。一般是InsertStmt、UpdateStmt、DeleteStmt、SelectStmt等。而這些概念其實(shí)是impala中的，Doris的SQL查詢引擎是參考自impala。在其源碼中有這么一段注釋:

Impala是用于處理存儲(chǔ)在Hadoop集群中的大量數(shù)據(jù)的MPP（大規(guī)模并行處理）sql查詢引擎。 它是一個(gè)用C ++和Java編寫(xiě)的開(kāi)源軟件。 與其他Hadoop的SQL引擎相比，它提供了高性能和低延遲。其相關(guān)信息及文檔可參考: impala中文手冊(cè)

語(yǔ)義解析

根據(jù)AST樹(shù)與元數(shù)據(jù)中的表、列信息等做一個(gè)語(yǔ)義校驗(yàn)，比如，表、字段是否在元數(shù)據(jù)中存在。其步驟一般如下:

query改寫(xiě)

對(duì)原始的sql文本做一定程度的改寫(xiě)使得SQL更簡(jiǎn)單，執(zhí)行效率更高；一般是條件表達(dá)式改寫(xiě)、子查詢改寫(xiě)等。

在Doris中，有一個(gè)接口 ExprRewriteRule 負(fù)責(zé)表達(dá)式的改寫(xiě)規(guī)則，基于該接口與各種不同的規(guī)則有不同的實(shí)現(xiàn)，在 Analyzer類的內(nèi)部類 GlobalState 構(gòu)造函數(shù)中，注冊(cè)了諸多的規(guī)則到rules集合中，而該list會(huì)被傳遞到ExprRewriter類中被應(yīng)用。

StmtRewriter 類處理子查詢改寫(xiě)邏輯，其中的方法會(huì)處理各種場(chǎng)景下的子查詢改寫(xiě)，比如rewriteSelectStatement方法.

這一步驟的處理是基于詞法語(yǔ)法解析后生成的AST樹(shù)進(jìn)行的。

public class GlobalState(Env env, ConnectContext context) {
    this.env = env;
    this.context = context;
    List<ExprRewriteRule> rules = Lists.newArrayList();
    // BetweenPredicates must be rewritten to be executable. Other non-essential
    // expr rewrites can be disabled via a query option. When rewrites are enabled
    // BetweenPredicates should be rewritten first to help trigger other rules.
    rules.add(BetweenToCompoundRule.INSTANCE);
    // Binary predicates must be rewritten to a canonical form for both predicate
    // pushdown and Parquet row group pruning based on min/max statistics.
    rules.add(NormalizeBinaryPredicatesRule.INSTANCE);
    // Put it after NormalizeBinaryPredicatesRule, make sure slotRef is on the left and Literal is on the right.
    rules.add(RewriteBinaryPredicatesRule.INSTANCE);
    rules.add(RewriteImplicitCastRule.INSTANCE);
    rules.add(RoundLiteralInBinaryPredicatesRule.INSTANCE);
    rules.add(FoldConstantsRule.INSTANCE);
    rules.add(EraseRedundantCastExpr.INSTANCE);
    rules.add(RewriteFromUnixTimeRule.INSTANCE);
    rules.add(CompoundPredicateWriteRule.INSTANCE);
    rules.add(RewriteDateLiteralRule.INSTANCE);
    rules.add(RewriteEncryptKeyRule.INSTANCE);
    rules.add(RewriteInPredicateRule.INSTANCE);
    rules.add(RewriteAliasFunctionRule.INSTANCE);
    rules.add(RewriteIsNullIsNotNullRule.INSTANCE);
    rules.add(MatchPredicateRule.INSTANCE);
    rules.add(EliminateUnnecessaryFunctions.INSTANCE);
    List<ExprRewriteRule> onceRules = Lists.newArrayList();
    onceRules.add(ExtractCommonFactorsRule.INSTANCE);
    onceRules.add(InferFiltersRule.INSTANCE);
    exprRewriter = new ExprRewriter(rules, onceRules);
    // init mv rewriter
    List<ExprRewriteRule> mvRewriteRules = Lists.newArrayList();
    mvRewriteRules.add(new ExprToSlotRefRule());
    mvRewriteRules.add(ToBitmapToSlotRefRule.INSTANCE);
    mvRewriteRules.add(CountDistinctToBitmapOrHLLRule.INSTANCE);
    mvRewriteRules.add(CountDistinctToBitmap.INSTANCE);
    mvRewriteRules.add(NDVToHll.INSTANCE);
    mvRewriteRules.add(HLLHashToSlotRefRule.INSTANCE);
    mvExprRewriter = new ExprRewriter(mvRewriteRules);

    // context maybe null. eg, for StreamLoadPlanner.
    // and autoBroadcastJoinThreshold is only used for Query's DistributedPlanner.
    // so it is ok to not set autoBroadcastJoinThreshold if context is null
    if (context != null) {
        // compute max exec mem could be used for broadcast join
        long perNodeMemLimit = context.getSessionVariable().getMaxExecMemByte();
        double autoBroadcastJoinThresholdPercentage = context.getSessionVariable().autoBroadcastJoinThreshold;
        if (autoBroadcastJoinThresholdPercentage > 1) {
            autoBroadcastJoinThresholdPercentage = 1.0;
        } else if (autoBroadcastJoinThresholdPercentage <= 0) {
            autoBroadcastJoinThresholdPercentage = -1.0;
        }
        autoBroadcastJoinThreshold = (long) (perNodeMemLimit * autoBroadcastJoinThresholdPercentage);
    } else {
        // autoBroadcastJoinThreshold is a "final" field, must set an initial value for it
        autoBroadcastJoinThreshold = 0;
    }
}

單機(jī)執(zhí)行計(jì)劃

這一過(guò)程會(huì)生成PlanNodeTree，一般用于處理Join Reorder場(chǎng)景下的join調(diào)優(yōu)與謂詞下推等下推優(yōu)化。

SingleNodePlanner類用于生成單擊執(zhí)行計(jì)劃，該類其實(shí)也是基于impala框架改寫(xiě)適用于Doris的。在這個(gè)類中，除了謂詞下推與join reorder外，還有類似列裁剪之類的優(yōu)化，都在這個(gè)類中有處理。

分布式執(zhí)行計(jì)劃

DistributedPlanner類負(fù)責(zé)分布式執(zhí)行計(jì)劃的優(yōu)化，其中會(huì)處理Join場(chǎng)景下的分布式執(zhí)行，選擇最優(yōu)的Join執(zhí)行路徑；其次就是Agg聚合函數(shù)的分布式執(zhí)行邏輯，Agg會(huì)分兩步執(zhí)行，先會(huì)在local本地scan，然后再Agg Node上在做一次scan聚合；當(dāng)然還有一些算子需要做分布式邏輯執(zhí)行優(yōu)化. 都可以在這個(gè)類中找到。當(dāng)然這個(gè)類也是基于impala框架改寫(xiě)的。

如下是AggNode的分布式執(zhí)行計(jì)劃優(yōu)化:

總結(jié)

Doris的很多設(shè)計(jì)，其實(shí)都是有據(jù)可依，參考借鑒已有的框架/論文，再依據(jù)實(shí)際的業(yè)務(wù)場(chǎng)景做改寫(xiě)；這也正是我們要學(xué)習(xí)了解的東西，通過(guò)一個(gè)點(diǎn)，然后鋪開(kāi)去了解學(xué)習(xí)相關(guān)的其他點(diǎn)，慢慢的串聯(lián)起來(lái)形成面。查詢優(yōu)化器結(jié)合如下博客再加上自己去閱讀一下代碼，對(duì)整個(gè)脈絡(luò)及機(jī)制就算是掌握了。

聊聊分布式 SQL 數(shù)據(jù)庫(kù)Doris(五) 這是之前寫(xiě)的對(duì)查詢優(yōu)化器相關(guān)的一些知識(shí)普及.

查詢優(yōu)化器詳解 Doris團(tuán)隊(duì)針對(duì)查詢優(yōu)化器的視頻講解.

Doris SQL 原理解析 小米工程師寫(xiě)的，更深入的剖析.

總結(jié)

以上是生活随笔為你收集整理的聊聊分布式 SQL 数据库Doris(九)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。