MySQL 之 索引
一 初識(shí)索引
為什么要有索引?
一般的應(yīng)用系統(tǒng),讀寫比例在10:1左右,而且插入操作和一般的更新操作很少出現(xiàn)性能問題,在生產(chǎn)環(huán)境中,我們遇到最多的,也是最容易出問題的,還是一些復(fù)雜的查詢操作,因此對(duì)查詢語句的優(yōu)化顯然是重中之重。說起加速查詢,就不得不提到?索引?了。
什么是索引?
類似于字典中的目錄,查找字典內(nèi)容時(shí)可以根據(jù)目錄查找到數(shù)據(jù)的存放位置,然后直接獲取即可。
索引在MySQL中也叫是一種“鍵”,是存儲(chǔ)引擎用于快速找到記錄的一種數(shù)據(jù)結(jié)構(gòu)。索引對(duì)于良好的性能非常關(guān)鍵,尤其是當(dāng)表中的數(shù)據(jù)量越來越大時(shí),索引對(duì)于性能的影響愈發(fā)重要。索引優(yōu)化應(yīng)該是對(duì)查詢性能優(yōu)化最有效的手段了。索引能夠輕易將查詢性能提高好幾個(gè)數(shù)量級(jí)。索引相當(dāng)于字典的音序表,如果要查某個(gè)字,如果不使用音序表,則需要從幾百頁中逐頁去查。
你是否對(duì)索引存在誤解?
索引是應(yīng)用程序設(shè)計(jì)和開發(fā)的一個(gè)重要方面。若索引太多,應(yīng)用程序的性能可能會(huì)受到影響。而索引太少,對(duì)查詢性能又會(huì)產(chǎn)生影響,要找到一個(gè)平衡點(diǎn),這對(duì)應(yīng)用程序的性能至關(guān)重要。一些開發(fā)人員總是在事后才想起添加索引----其實(shí)這源于一種錯(cuò)誤的開發(fā)模式。如果知道數(shù)據(jù)的使用,從一開始就應(yīng)該在需要處添加索引。開發(fā)人員往往對(duì)數(shù)據(jù)庫的使用停留在應(yīng)用的層面,比如編寫SQL語句、存儲(chǔ)過程之類,他們甚至可能不知道索引的存在,或認(rèn)為事后讓相關(guān)DBA加上即可。DBA往往不夠了解業(yè)務(wù)的數(shù)據(jù)流,而添加索引需要通過監(jiān)控大量的SQL語句進(jìn)而從中找到問題,這個(gè)步驟所需的時(shí)間肯定是遠(yuǎn)大于初始添加索引所需的時(shí)間,并且可能會(huì)遺漏一部分的索引。當(dāng)然索引也并不是越多越好。
二 索引的原理
一 索引原理
索引的目的在于提高查詢效率,與我們查閱圖書所用的目錄是一個(gè)道理:先定位到章,然后定位到該章下的一個(gè)小節(jié),然后找到頁數(shù)。
本質(zhì)都是:通過不斷地縮小想要獲取數(shù)據(jù)的范圍來篩選出最終想要的結(jié)果,同時(shí)把隨機(jī)的事件變成順序的事件,也就是說,有了這種索引機(jī)制,我們可以總是用同一種查找方式來鎖定數(shù)據(jù)。
數(shù)據(jù)庫也是一樣,但顯然要復(fù)雜的多,因?yàn)椴粌H面臨著等值查詢,還有范圍查詢(>、<、between、in)、模糊查詢(like)、并集查詢(or)等等。數(shù)據(jù)庫應(yīng)該選擇怎么樣的方式來應(yīng)對(duì)所有的問題呢?我們回想字典的例子,能不能把數(shù)據(jù)分成段,然后分段查詢呢?最簡單的如果1000條數(shù)據(jù),1到100分成第一段,101到200分成第二段,201到300分成第三段......這樣查第250條數(shù)據(jù),只要找第三段就可以了,一下子去除了90%的無效數(shù)據(jù)。但如果是1千萬的記錄呢,分成幾段比較好?稍有算法基礎(chǔ)的同學(xué)會(huì)想到搜索樹,其平均復(fù)雜度是lgN,具有不錯(cuò)的查詢性能。但這里我們忽略了一個(gè)關(guān)鍵的問題,復(fù)雜度模型是基于每次相同的操作成本來考慮的。而數(shù)據(jù)庫實(shí)現(xiàn)比較復(fù)雜,一方面數(shù)據(jù)是保存在磁盤上的,另外一方面為了提高性能,每次又可以把部分?jǐn)?shù)據(jù)讀入內(nèi)存來計(jì)算,因?yàn)槲覀冎涝L問磁盤的成本大概是訪問內(nèi)存的十萬倍左右,所以簡單的搜索樹難以滿足復(fù)雜的應(yīng)用場(chǎng)景。
二 磁盤IO與預(yù)讀
先簡單介紹一下磁盤IO和預(yù)讀,磁盤讀取數(shù)據(jù)靠的是機(jī)械運(yùn)動(dòng),每次讀取數(shù)據(jù)花費(fèi)的時(shí)間可以分為尋道時(shí)間、旋轉(zhuǎn)延遲、傳輸時(shí)間三個(gè)部分,尋道時(shí)間指的是磁臂移動(dòng)到指定磁道所需要的時(shí)間,主流磁盤一般在5ms以下;旋轉(zhuǎn)延遲就是我們經(jīng)常聽說的磁盤轉(zhuǎn)速,比如一個(gè)磁盤7200轉(zhuǎn),表示每分鐘能轉(zhuǎn)7200次,也就是說1秒鐘能轉(zhuǎn)120次,旋轉(zhuǎn)延遲就是1/120/2 = 4.17ms;傳輸時(shí)間指的是從磁盤讀出或?qū)?shù)據(jù)寫入磁盤的時(shí)間,一般在零點(diǎn)幾毫秒,相對(duì)于前兩個(gè)時(shí)間可以忽略不計(jì)。那么訪問一次磁盤的時(shí)間,即一次磁盤IO的時(shí)間約等于5+4.17 = 9ms左右,聽起來還挺不錯(cuò)的,但要知道一臺(tái)500 MIPS(Million Instructions Per Second)的機(jī)器每秒可以執(zhí)行5億條指令,因?yàn)橹噶钜揽康氖请姷男再|(zhì),換句話說執(zhí)行一次IO的時(shí)間可以執(zhí)行約450萬條指令,數(shù)據(jù)庫動(dòng)輒十萬百萬乃至千萬級(jí)數(shù)據(jù),每次9毫秒的時(shí)間,顯然是個(gè)災(zāi)難。下圖是計(jì)算機(jī)硬件延遲的對(duì)比圖,供大家參考:
考慮到磁盤IO是非常高昂的操作,計(jì)算機(jī)操作系統(tǒng)做了一些優(yōu)化,當(dāng)一次IO時(shí),不光把當(dāng)前磁盤地址的數(shù)據(jù),而是把相鄰的數(shù)據(jù)也都讀取到內(nèi)存緩沖區(qū)內(nèi),因?yàn)榫植款A(yù)讀性原理告訴我們,當(dāng)計(jì)算機(jī)訪問一個(gè)地址的數(shù)據(jù)的時(shí)候,與其相鄰的數(shù)據(jù)也會(huì)很快被訪問到。每一次IO讀取的數(shù)據(jù)我們稱之為一頁(page)。具體一頁有多大數(shù)據(jù)跟操作系統(tǒng)有關(guān),一般為4k或8k,也就是我們讀取一頁內(nèi)的數(shù)據(jù)時(shí)候,實(shí)際上才發(fā)生了一次IO,這個(gè)理論對(duì)于索引的數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)非常有幫助
三 索引的兩大類型hash與btree
# 索引類型,分兩類 hash類型的索引:查詢單條快,范圍查詢慢 btree類型的索引:b+樹,層數(shù)越多,數(shù)據(jù)量指數(shù)級(jí)增長(我們就用它,因?yàn)閕nnodb默認(rèn)支持它)# 不同的存儲(chǔ)引擎支持的索引類型也不一樣 InnoDB 支持事務(wù),支持行級(jí)別鎖定,支持 B-tree、Full-text 等索引,不支持 Hash 索引; MyISAM 不支持事務(wù),支持表級(jí)別鎖定,支持 B-tree、Full-text 等索引,不支持 Hash 索引; Memory 不支持事務(wù),支持表級(jí)別鎖定,支持 B-tree、Hash 等索引,不支持 Full-text 索引; NDB 支持事務(wù),支持行級(jí)別鎖定,支持 Hash 索引,不支持 B-tree、Full-text 等索引; Archive 不支持事務(wù),支持表級(jí)別鎖定,不支持 B-tree、Hash、Full-text 等索引;四 btree索引的數(shù)據(jù)結(jié)構(gòu)
樹
樹狀圖是一種數(shù)據(jù)結(jié)構(gòu),它是由n(n>=1)個(gè)有限結(jié)點(diǎn)組成一個(gè)具有層次關(guān)系的集合。把它叫做“樹”是因?yàn)樗雌饋硐褚豢玫箳斓臉?#xff0c;也就是說它是根朝上,而葉朝下的。它具有以下的特點(diǎn):每個(gè)結(jié)點(diǎn)有零個(gè)或多個(gè)子結(jié)點(diǎn);沒有父結(jié)點(diǎn)的結(jié)點(diǎn)稱為根結(jié)點(diǎn);每一個(gè)非根結(jié)點(diǎn)有且只有一個(gè)父結(jié)點(diǎn);除了根結(jié)點(diǎn)外,每個(gè)子結(jié)點(diǎn)可以分為多個(gè)不相交的子樹
根結(jié)點(diǎn) : A。父節(jié)點(diǎn) : A是B,C的父節(jié)點(diǎn)。葉子節(jié)點(diǎn):D,E是葉子節(jié)點(diǎn)。樹的深度/樹的高度:高度為3
B+樹
前面講了索引的基本原理,數(shù)據(jù)庫的復(fù)雜性,又講了操作系統(tǒng)的相關(guān)知識(shí),目的就是讓大家了解,任何一種數(shù)據(jù)結(jié)構(gòu)都不是憑空產(chǎn)生的,一定會(huì)有它的背景和使用場(chǎng)景,我們現(xiàn)在總結(jié)一下,我們需要這種數(shù)據(jù)結(jié)構(gòu)能夠做些什么,其實(shí)很簡單,那就是:每次查找數(shù)據(jù)時(shí)把磁盤IO次數(shù)控制在一個(gè)很小的數(shù)量級(jí),最好是常數(shù)數(shù)量級(jí)。那么我們就想到如果一個(gè)高度可控的多路搜索樹是否能滿足需求呢?就這樣,b+樹應(yīng)運(yùn)而生(B+樹是通過二叉查找樹,再由平衡二叉樹,B樹演化而來)。
b+樹性質(zhì)
1.索引字段要盡量的小:通過上面的分析,我們知道IO次數(shù)取決于b+數(shù)的高度h,假設(shè)當(dāng)前數(shù)據(jù)表的數(shù)據(jù)為N,每個(gè)磁盤塊的數(shù)據(jù)項(xiàng)的數(shù)量是m,則有h=㏒(m+1)N,當(dāng)數(shù)據(jù)量N一定的情況下,m越大,h越小;而m = 磁盤塊的大小 / 數(shù)據(jù)項(xiàng)的大小,磁盤塊的大小也就是一個(gè)數(shù)據(jù)頁的大小,是固定的,如果數(shù)據(jù)項(xiàng)占的空間越小,數(shù)據(jù)項(xiàng)的數(shù)量越多,樹的高度越低。這就是為什么每個(gè)數(shù)據(jù)項(xiàng),即索引字段要盡量的小,比如int占4字節(jié),要比bigint8字節(jié)少一半。這也是為什么b+樹要求把真實(shí)的數(shù)據(jù)放到葉子節(jié)點(diǎn)而不是內(nèi)層節(jié)點(diǎn),一旦放到內(nèi)層節(jié)點(diǎn),磁盤塊的數(shù)據(jù)項(xiàng)會(huì)大幅度下降,導(dǎo)致樹增高。當(dāng)數(shù)據(jù)項(xiàng)等于1時(shí)將會(huì)退化成線性表。
2.索引的最左匹配特性:當(dāng)b+樹的數(shù)據(jù)項(xiàng)是復(fù)合的數(shù)據(jù)結(jié)構(gòu),比如(name,age,sex)的時(shí)候,b+數(shù)是按照從左到右的順序來建立搜索樹的,比如當(dāng)(張三,20,F)這樣的數(shù)據(jù)來檢索的時(shí)候,b+樹會(huì)優(yōu)先比較name來確定下一步的所搜方向,如果name相同再依次比較age和sex,最后得到檢索的數(shù)據(jù);但當(dāng)(20,F)這樣的沒有name的數(shù)據(jù)來的時(shí)候,b+樹就不知道下一步該查哪個(gè)節(jié)點(diǎn),因?yàn)榻⑺阉鳂涞臅r(shí)候name就是第一個(gè)比較因子,必須要先根據(jù)name來搜索才能知道下一步去哪里查詢。比如當(dāng)(張三,F)這樣的數(shù)據(jù)來檢索時(shí),b+樹可以用name來指定搜索方向,但下一個(gè)字段age的缺失,所以只能把名字等于張三的數(shù)據(jù)都找到,然后再匹配性別是F的數(shù)據(jù)了, 這個(gè)是非常重要的性質(zhì),即索引的最左匹配特性。
btree索引中的 聚集索引與輔助索引
在數(shù)據(jù)庫中,B+樹的高度一般都在2~4層,這也就是說查找某一個(gè)鍵值的行記錄時(shí)最多只需要2到4次IO,這倒不錯(cuò)。因?yàn)楫?dāng)前一般的機(jī)械硬盤每秒至少可以做100次IO,2~4次的IO意味著查詢時(shí)間只需要0.02~0.04秒。數(shù)據(jù)庫中的B+樹索引可以分為聚集索引(clustered index)和輔助索引(secondary index),
聚集索引與輔助索引相同的是:不管是聚集索引還是輔助索引,其內(nèi)部都是B+樹的形式,即高度是平衡的,葉子結(jié)點(diǎn)存放著所有的數(shù)據(jù)。
聚集索引與輔助索引不同的是:葉子結(jié)點(diǎn)存放的是否是一整行的信息
1、聚集索引
InnoDB存儲(chǔ)引擎表是索引組織表,即表中數(shù)據(jù)按照主鍵順序存放。聚集索引(clustered index)就是按照每張表的主鍵構(gòu)造一棵B+樹,同時(shí)葉子結(jié)點(diǎn)存放的即為整張表的行記錄數(shù)據(jù),也將聚集索引的葉子結(jié)點(diǎn)稱為數(shù)據(jù)頁。聚集索引的這個(gè)特性決定了索引組織表中數(shù)據(jù)也是索引的一部分。同B+樹數(shù)據(jù)結(jié)構(gòu)一樣,每個(gè)數(shù)據(jù)頁都通過一個(gè)雙向鏈表來進(jìn)行鏈接。
在InnoDB中,mysql是這樣選擇聚簇索引的:
-
如果表中定義了PRIMARY KEY,那么InnoDB就會(huì)使用它作為聚簇索引;
-
否則,如果沒有定義PRIMARY KEY,InnoDB會(huì)選擇第一個(gè)有NOT NULL約束的唯一索引作為PRIMARY KEY,然后InnoDB會(huì)使用它作為聚簇索引;
-
如果表中沒有定義PRIMARY KEY或者合適的唯一索引。InnoDB內(nèi)部會(huì)在含有行ID值的合成列生成隱藏的聚簇索引。這些行使用InnoDB賦予這些表的ID進(jìn)行排序。行ID是6個(gè)字節(jié)的字段,且作為新行單一地自增。因此,根據(jù)行ID排序的行數(shù)據(jù)在物理上是根據(jù)插入的順序進(jìn)行排序。
由于實(shí)際的數(shù)據(jù)頁只能按照一棵B+樹進(jìn)行排序,因此每張表只能擁有一個(gè)聚集索引。在多數(shù)情況下,查詢優(yōu)化器傾向于采用聚集索引。因?yàn)榫奂饕軌蛟贐+樹索引的葉子節(jié)點(diǎn)上直接找到數(shù)據(jù)。此外由于定義了數(shù)據(jù)的邏輯順序,聚集索引能夠特別快地訪問針對(duì)范圍值得查詢。
聚集索引的好處:
-
它對(duì)主鍵的排序查找和范圍查找速度非常快,葉子節(jié)點(diǎn)的數(shù)據(jù)就是用戶所要查詢的數(shù)據(jù)。如用戶需要查找一張表,查詢最后的10位用戶信息,由于B+樹索引是雙向鏈表,所以用戶可以快速找到最后一個(gè)數(shù)據(jù)頁,并取出10條記錄
-
范圍查詢(range query),即如果要查找主鍵某一范圍內(nèi)的數(shù)據(jù),通過葉子節(jié)點(diǎn)的上層中間節(jié)點(diǎn)就可以得到頁的范圍,之后直接讀取數(shù)據(jù)頁即可
2、輔助索引
表中除了聚集索引外其他索引都是輔助索引(Secondary Index,也稱為非聚集索引),與聚集索引的區(qū)別是:輔助索引的葉子節(jié)點(diǎn)不包含行記錄的全部數(shù)據(jù)。葉子節(jié)點(diǎn)除了包含鍵值以外,每個(gè)葉子節(jié)點(diǎn)中的索引行中還包含一個(gè)書簽(bookmark)。該書簽用來告訴InnoDB 存儲(chǔ)引擎去哪里可以找到與索引相對(duì)應(yīng)的行數(shù)據(jù)。
由于InnoDB存儲(chǔ)引擎是索引組織表,因此InnoDB存儲(chǔ)引擎的輔助索引的書簽就是相應(yīng)行數(shù)據(jù)的聚集索引鍵。如下圖
輔助索引的存在并不影響數(shù)據(jù)在聚集索引中的組織,因此每張表上可以有多個(gè)輔助索引,但只能有一個(gè)聚集索引。當(dāng)通過輔助索引來尋找數(shù)據(jù)時(shí),InnoDB存儲(chǔ)引擎會(huì)遍歷輔助索引并通過葉子級(jí)別的指針獲得只想主鍵索引的主鍵,然后再通過主鍵索引來找到一個(gè)完整的行記錄。
舉例來說,如果在一棵高度為3的輔助索引樹種查找數(shù)據(jù),那需要對(duì)這個(gè)輔助索引樹遍歷3次找到指定主鍵,如果聚集索引樹的高度同樣為3,那么還需要對(duì)聚集索引樹進(jìn)行3次查找,最終找到一個(gè)完整的行數(shù)據(jù)所在的頁,因此一共需要6次邏輯IO訪問才能得到最終的一個(gè)數(shù)據(jù)頁。
3、聚集索引和非聚集索引的聯(lián)系與區(qū)別
聚集索引
1.紀(jì)錄的索引順序與主鍵順序相同,因此更適合between and和order by操作
2.葉子結(jié)點(diǎn)直接對(duì)應(yīng)數(shù)據(jù),從中間級(jí)的索引頁的索引行直接對(duì)應(yīng)數(shù)據(jù)頁
3.每張表只能創(chuàng)建一個(gè)聚集索引
非聚集索引
1.索引順序和物理順序無關(guān)
2.葉子結(jié)點(diǎn)不直接指向數(shù)據(jù)頁
3.每張表可以有多個(gè)非聚集索引,需要更多磁盤和內(nèi)容
五 索引的常見分類
MySQL中常見索引有:
- 普通索引:僅加速查詢
- 唯一索引:加速查詢 + 列值唯一(可以有null)
- 主鍵索引:加速查詢 + 列值唯一 + 表中只有一個(gè)(不可以有null)
- 組合索引:多列值組成一個(gè)索引,專門用于組合搜索,其效率大于索引合并
- 全文索引:對(duì)文本的內(nèi)容進(jìn)行分詞,進(jìn)行搜索
1、普通索引
普通索引僅有一個(gè)功能:加速查詢
# 創(chuàng)建表時(shí)創(chuàng)建索引 create table in1(nid int not null auto_increment primary key,name varchar(32) not null,extra text,index ix_name (name) ) # 創(chuàng)建索引 create index index_name on table_name(column_name)# 刪除索引 drop index_name on table_name;# 查看索引 show index from table_name;# 注意:對(duì)于創(chuàng)建索引時(shí)如果是BLOB?和?TEXT?類型,必須指定length。 create index ix_extra on in1(extra(32));2、唯一索引
唯一索引有兩個(gè)功能:加速查詢 和 唯一約束(可含null)
# 創(chuàng)建表時(shí)創(chuàng)建索引 create table in1(nid int not null auto_increment primary key,name varchar(32) not null,unique ix_name (name) )# 創(chuàng)建索引 create unique index 索引名 on 表名(列名)# 刪除索引 drop unique index 索引名 on 表名3、主鍵索引
主鍵有兩個(gè)功能:加速查詢 和 唯一約束(不可含null)
# 創(chuàng)建表時(shí)創(chuàng)建索引 create table in1(nid int not null auto_increment primary key,name varchar(32) not null,index ix_name (name) ) # 或者 create table in1(nid int not null auto_increment,name varchar(32) not null,primary key(ni1),index ix_name (name) )# 創(chuàng)建索引 alter table 表名 add primary key(列名);# 刪除索引 alter table 表名 drop primary key; alter table 表名 modify 列名 int, drop primary key;4、組合索引
組合索引是將n個(gè)列組合成一個(gè)索引,其應(yīng)用場(chǎng)景為:頻繁的同時(shí)使用n列來進(jìn)行查詢,如:where n1 = 'alex' and n2 = 666。
create table in3(nid int not null auto_increment primary key,name varchar(32) not null,email varchar(64) not null,extra text ) # 創(chuàng)建索引 create index ix_name_email on in3(name,email);# 如上創(chuàng)建組合索引之后,查詢: name and email?-- 使用索引 name? ? ? ? ? ?-- 使用索引 email? ? ? ? ? -- 不使用索引# 注意:對(duì)于同時(shí)搜索n個(gè)條件時(shí),組合索引的性能好于多個(gè)單一索引合并。注意
- ?一定是為搜索條件的字段創(chuàng)建索引,比如select * from s1 where id = 333;就需要為id加上索引
- 在表中已經(jīng)有大量數(shù)據(jù)的情況下,建索引會(huì)很慢,且占用硬盤空間,建完后查詢速度加快,比如create index idx on s1(id);會(huì)掃描表中所有的數(shù)據(jù),然后以id為數(shù)據(jù)項(xiàng),創(chuàng)建索引結(jié)構(gòu),存放于硬盤的表中。建完以后,再查詢就會(huì)很快了。
- innodb表的索引會(huì)存放于s1.ibd文件中,而myisam表的索引則會(huì)有單獨(dú)的索引文件table1.MYI
- MySAM索引文件和數(shù)據(jù)文件是分離的,索引文件僅保存數(shù)據(jù)記錄的地址。而在innodb中,表數(shù)據(jù)文件本身就是按照B+Tree(BTree即Balance True)組織的一個(gè)索引結(jié)構(gòu),這棵樹的葉節(jié)點(diǎn)data域保存了完整的數(shù)據(jù)記錄。這個(gè)索引的key是數(shù)據(jù)表的主鍵,因此innodb表數(shù)據(jù)文件本身就是主索引。
六 索引的又一種分類
索引合并:使用多個(gè)單列索引組合搜索
覆蓋索引:select的數(shù)據(jù)列只用從索引中就能夠取得,不必讀取數(shù)據(jù)行,換句話說查詢列要被所建的索引覆蓋
上述兩種索引類型不是創(chuàng)建的索引類型,是sql執(zhí)行時(shí)的采用的類型
一 聯(lián)合索引
聯(lián)合索引是指對(duì)表上的多個(gè)列合起來做一個(gè)索引。聯(lián)合索引的創(chuàng)建方法與單個(gè)索引的創(chuàng)建方法一樣,不同之處僅在于有多個(gè)索引列,如下
create table t(a int,b int,primary key(a),key idx_a_b(a,b)); Query OK, 0 rows affected (0.11 sec)那么何時(shí)需要使用聯(lián)合索引呢?在討論這個(gè)問題之前,先來看一下聯(lián)合索引內(nèi)部的結(jié)果。從本質(zhì)上來說,聯(lián)合索引就是一棵B+樹,不同的是聯(lián)合索引的鍵值得數(shù)量不是1,而是>=2。接著來討論兩個(gè)整型列組成的聯(lián)合索引,假定兩個(gè)鍵值得名稱分別為a、b如圖
?
可以看到這與我們之前看到的單個(gè)鍵的B+樹并沒有什么不同,鍵值都是排序的,通過葉子結(jié)點(diǎn)可以邏輯上順序地讀出所有數(shù)據(jù),就上面的例子來說,即(1,1),(1,2),(2,1),(2,4),(3,1),(3,2),數(shù)據(jù)按(a,b)的順序進(jìn)行了存放。
因此,對(duì)于查詢select * from table where a=xxx and b=xxx, 顯然是可以使用(a,b) 這個(gè)聯(lián)合索引的,對(duì)于單個(gè)列a的查詢select * from table where a=xxx,也是可以使用(a,b)這個(gè)索引的。
但對(duì)于b列的查詢select * from table where b=xxx,則不可以使用(a,b) 索引,其實(shí)你不難發(fā)現(xiàn)原因,葉子節(jié)點(diǎn)上b的值為1、2、1、4、1、2顯然不是排序的,因此對(duì)于b列的查詢使用不到(a,b) 索引
聯(lián)合索引的好處是在第一個(gè)鍵相同的情況下,已經(jīng)對(duì)第二個(gè)鍵進(jìn)行了排序處理,例如在很多情況下應(yīng)用程序都需要查詢某個(gè)用戶的購物情況,并按照時(shí)間進(jìn)行排序,最后取出最近三次的購買記錄,這時(shí)使用聯(lián)合索引可以幫我們避免多一次的排序操作,因?yàn)樗饕旧碓谌~子節(jié)點(diǎn)已經(jīng)排序了,如下
#===========準(zhǔn)備表============== create table buy_log(userid int unsigned not null,buy_date date );insert into buy_log values (1,'2009-01-01'), (2,'2009-01-01'), (3,'2009-01-01'), (1,'2009-02-01'), (3,'2009-02-01'), (1,'2009-03-01'), (1,'2009-04-01');alter table buy_log add key(userid); alter table buy_log add key(userid,buy_date);#===========驗(yàn)證============== mysql> show create table buy_log; | buy_log | CREATE TABLE `buy_log` (`userid` int(10) unsigned NOT NULL,`buy_date` date DEFAULT NULL,KEY `userid` (`userid`),KEY `userid_2` (`userid`,`buy_date`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 |# 可以看到possible_keys在這里有兩個(gè)索引可以用,分別是單個(gè)索引userid與聯(lián)合索引userid_2,但是優(yōu)化器最終選擇了使用的key是userid因?yàn)樵撍饕娜~子節(jié)點(diǎn)包含單個(gè)鍵值,所以理論上一個(gè)頁能存放的記錄應(yīng)該更多 mysql> explain select * from buy_log where userid=2; +----+-------------+---------+------+-----------------+--------+---------+-------+------+-------+ | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra | +----+-------------+---------+------+-----------------+--------+---------+-------+------+-------+ | 1 | SIMPLE | buy_log | ref | userid,userid_2 | userid | 4 | const | 1 | | +----+-------------+---------+------+-----------------+--------+---------+-------+------+-------+ 1 row in set (0.00 sec)#接著假定要取出userid為1的最近3次的購買記錄,用的就是聯(lián)合索引userid_2了,因?yàn)樵谶@個(gè)索引中,在userid=1的情況下,buy_date都已經(jīng)排序好了 mysql> explain select * from buy_log where userid=1 order by buy_date desc limit 3; +--+-----------+-------+----+---------------+--------+-------+-----+----+------------------------+ |id|select_type|table |type|possible_keys | key |key_len|ref |rows| Extra | +--+-----------+-------+----+---------------+--------+-------+-----+----+------------------------+ | 1|SIMPLE |buy_log|ref |userid,userid_2|userid_2| 4 |const| 4 |Using where; Using index| +--+-----------+-------+----+---------------+--------+-------+-----+----+------------------------+ 1 row in set (0.00 sec)#ps:如果extra的排序顯示是Using filesort,則意味著在查出數(shù)據(jù)后需要二次排序(如下查詢語句,沒有先用where userid=3先定位范圍,于是即便命中索引也沒用,需要二次排序) mysql> explain select * from buy_log order by buy_date desc limit 3; +--+-----------+-------+-----+-------------+--------+-------+----+----+---------------------------+ |id|select_type| table |type |possible_keys|key |key_len|ref |rows|Extra | +--+-----------+-------+-----+-------------+--------+-------+----+----+---------------------------+ | 1|SIMPLE |buy_log|index| NULL |userid_2| 8 |NULL| 7 |Using index; Using filesort| +--+-----------+-------+-----+-------------+--------+-------+----+----+---------------------------+#對(duì)于聯(lián)合索引(a,b),下述語句可以直接使用該索引,無需二次排序 select ... from table where a=xxx order by b;#然后對(duì)于聯(lián)合索引(a,b,c)來首,下列語句同樣可以直接通過索引得到結(jié)果 select ... from table where a=xxx order by b; select ... from table where a=xxx and b=xxx order by c;#但是對(duì)于聯(lián)合索引(a,b,c),下列語句不能通過索引直接得到結(jié)果,還需要自己執(zhí)行一次filesort操作,因?yàn)樗饕?#xff08;a,c)并未排序 select ... from table where a=xxx order by c;2、覆蓋索引
InnoDB存儲(chǔ)引擎支持覆蓋索引(covering index,或稱索引覆蓋),即從輔助索引中就可以得到查詢記錄,而不需要查詢聚集索引中的記錄。
使用覆蓋索引的一個(gè)好處是:輔助索引不包含整行記錄的所有信息,故其大小要遠(yuǎn)小于聚集索引,因此可以減少大量的IO操作
注意:覆蓋索引技術(shù)最早是在InnoDB Plugin中完成并實(shí)現(xiàn),這意味著對(duì)于InnoDB版本小于1.0的,或者M(jìn)ySQL數(shù)據(jù)庫版本為5.0以下的,InnoDB存儲(chǔ)引擎不支持覆蓋索引特性。對(duì)于InnoDB存儲(chǔ)引擎的輔助索引而言,由于其包含了主鍵信息,因此其葉子節(jié)點(diǎn)存放的數(shù)據(jù)為(primary key1,priamey key2,...,key1,key2,...)。例如
覆蓋索引的另外一個(gè)好處是對(duì)某些統(tǒng)計(jì)問題而言的。
mysql> explain select count(*) from buy_log; +--+-----------+-------+-----+-------------+------+-------+----+----+-----------+ |id|select_type|table | type|possible_keys|key |key_len|ref |rows|Extra | +--+-----------+-------+-----+-------------+------+-------+----+----+-----------+ | 1| SIMPLE |buy_log|index| NULL |userid| 4 |NULL| 7 |Using index| +--+-----------+-------+-----+-------------+------+-------+----+----+-----------+ 1 row in set (0.00 sec)innodb存儲(chǔ)引擎并不會(huì)選擇通過查詢聚集索引來進(jìn)行統(tǒng)計(jì)。由于buy_log表有輔助索引,而輔助索引遠(yuǎn)小于聚集索引,選擇輔助索引可以減少IO操作,故優(yōu)化器的選擇如上key為userid輔助索引
對(duì)于(a,b)形式的聯(lián)合索引,一般是不可以選擇b中所謂的查詢條件。但如果是統(tǒng)計(jì)操作,并且是覆蓋索引,則優(yōu)化器還是會(huì)選擇使用該索引,如下
# 聯(lián)合索引userid_2(userid,buy_date),一般情況,我們按照buy_date是無法使用該索引的,但特殊情況下:查詢語句是統(tǒng)計(jì)操作,且是覆蓋索引,則按照buy_date當(dāng)做查詢條件時(shí),也可以使用該聯(lián)合索引 mysql> explain select count(*) from buy_log where buy_date >= '2011-01-01' and buy_date < '2011-02-01'; +--+-----------+-------+-----+-------------+--------+-------+----+----+------------------------+ |id|select_type| table |type |possible_keys| key |key_len|ref |rows|Extra | +--+-----------+-------+-----+-------------+--------+-------+----+----+------------------------+ | 1| SIMPLE |buy_log|index| NULL |userid_2| 8 |NULL| 7 |Using where; Using index| +--+-----------+-------+-----+-------------+--------+-------+----+----+------------------------+ 1 row in set (0.00 sec)2、索引合并?
mysql> explain select count(email) from index_t where id=1000000 or email='eva100000@oldboy'; +--+-----------+------+--------------+--------------------------------+---------------+--------+-----+----+-----------------------------------------+ | id | select_type| table | type | possible_keys | key | key_len| ref|rows | Extra | +--+-----------+------+--------------+--------------------------------+---------------+--------+-----+----+-----------------------------------------+ | 1 | SIMPLE |index_t| index_merge | PRIMARY,email,ind_id,ind_email | PRIMARY,email | 4,51 |NULL| 2 |Using union(PRIMARY,email); Using where | +--+-----------+------+--------------+--------------------------------+---------------+--------+-----+----+-----------------------------------------+ 1 row in set (0.01 sec)七 正確使用索引
我們?cè)谔砑铀饕龝r(shí),必須遵循以下問題
1 范圍問題,或者說條件不明確,條件中出現(xiàn)這些符號(hào)或關(guān)鍵字:>、>=、<、<=、!= 、between...and...、like、
大于號(hào)、小于號(hào)
不等于!
between ...and..
like
2?盡量選擇區(qū)分度高的列作為索引
區(qū)分度的公式是count(distinct col)/count(*),表示字段不重復(fù)的比例,比例越大我們掃描的記錄數(shù)越少,唯一鍵的區(qū)分度是1,而一些狀態(tài)、性別字段可能在大數(shù)據(jù)面前區(qū)分度就是0,那可能有人會(huì)問,這個(gè)比例有什么經(jīng)驗(yàn)值嗎?使用場(chǎng)景不同,這個(gè)值也很難確定,一般需要join的字段我們都要求是0.1以上,即平均1條掃描10條記錄
我們編寫存儲(chǔ)過程為表s1批量添加記錄,name字段的值均為egon,也就是說name這個(gè)字段的區(qū)分度很低(gender字段也是一樣的,我們稍后再搭理它)回憶b+樹的結(jié)構(gòu),查詢的速度與樹的高度成反比,要想將樹的高低控制的很低,需要保證:在某一層內(nèi)數(shù)據(jù)項(xiàng)均是按照從左到右,從小到大的順序依次排開,即左1<左2<左3<...
而對(duì)于區(qū)分度低的字段,無法找到大小關(guān)系,因?yàn)橹刀际窍嗟鹊?#xff0c;毫無疑問,還想要用b+樹存放這些等值的數(shù)據(jù),只能增加樹的高度,字段的區(qū)分度越低,則樹的高度越高。極端的情況,索引字段的值都一樣,那么b+樹幾乎成了一根棍。本例中就是這種極端的情況,name字段所有的值均為'egon'
現(xiàn)在我們得出一個(gè)結(jié)論:為區(qū)分度低的字段建立索引,索引樹的高度會(huì)很高,然而這具體會(huì)帶來什么影響呢???1:如果條件是name='xxxx',那么肯定是可以第一時(shí)間判斷出'xxxx'是不在索引樹中的(因?yàn)闃渲兴械闹稻鶠?#39;egon’),所以查詢速度很快。2:如果條件正好是name='egon',查詢時(shí),我們永遠(yuǎn)無法從樹的某個(gè)位置得到一個(gè)明確的范圍,只能往下找,往下找,往下找。。。這與全表掃描的IO次數(shù)沒有多大區(qū)別,所以速度很慢
3 索引列不能在條件中參與計(jì)算,保持列“干凈”
比如 from_unixtime(create_time) = ’2014-05-29’ 就不能使用到索引,原因很簡單,b+樹中存的都是數(shù)據(jù)表中的字段值,但進(jìn)行檢索時(shí),需要把所有元素都應(yīng)用函數(shù)才能比較,顯然成本太大。所以語句應(yīng)該寫成create_time = unix_timestamp(’2014-05-29’)
?4 and/or
#1、and與or的邏輯條件1 and 條件2:所有條件都成立才算成立,但凡要有一個(gè)條件不成立則最終結(jié)果不成立條件1 or 條件2:只要有一個(gè)條件成立則最終結(jié)果就成立#2、and的工作原理?xiàng)l件:a = 10 and b = 'xxx' and c > 3 and d =4索引:制作聯(lián)合索引(d,a,b,c)工作原理:對(duì)于連續(xù)多個(gè)and:mysql會(huì)按照聯(lián)合索引,從左到右的順序找一個(gè)區(qū)分度高的索引字段(這樣便可以快速鎖定很小的范圍),加速查詢,即按照d—>a->b->c的順序#3、or的工作原理?xiàng)l件:a = 10 or b = 'xxx' or c > 3 or d =4索引:制作聯(lián)合索引(d,a,b,c)工作原理:對(duì)于連續(xù)多個(gè)or:mysql會(huì)按照條件的順序,從左到右依次判斷,即a->b->c->d在左邊條件成立但是索引字段的區(qū)分度低的情況下(name與gender均屬于這種情況),會(huì)依次往右找到一個(gè)區(qū)分度高的索引字段,加速查詢?
經(jīng)過分析,在條件為name='egon' and gender='male' and id>333 and email='xxx'的情況下,我們完全沒必要為前三個(gè)條件的字段加索引,因?yàn)橹荒苡蒙蟚mail字段的索引,前三個(gè)字段的索引反而會(huì)降低我們的查詢效率
5?最左前綴匹配原則(詳見第八小節(jié)),非常重要的原則
對(duì)于組合索引mysql會(huì)一直向右匹配直到遇到范圍查詢(>、<、between、like)就停止匹配(指的是范圍大了,有索引速度也慢),比如a = 1 and b = 2 and c > 3 and d = 4 如果建立(a,b,c,d)順序的索引,d是用不到索引的,如果建立(a,b,d,c)的索引則都可以用到,a,b,d的順序可以任意調(diào)整。
六、其他情況,建立索引但是用不到
- 使用函數(shù)select * from tb1 where reverse(email) = 'egon';- 類型不一致如果列是字符串類型,傳入條件是必須用引號(hào)引起來select * from tb1 where email = 999;# 排序條件為索引,則select字段必須也是索引字段,否則無法命中 - order byselect name from s1 order by email desc;當(dāng)根據(jù)索引排序時(shí)候,select查詢的字段如果不是索引,則速度仍然很慢,加上索引會(huì)變快- 組合索引最左前綴如果組合索引為:(name,email)name and email -- 命中索引name -- 命中索引email -- 未命中索引- count(1)或count(列)代替count(*)在mysql中沒有差別了二 其他注意事項(xiàng)
- 避免使用select * - 使用count(*) - 創(chuàng)建表時(shí)盡量使用 char 代替 varchar - 表的字段順序固定長度的字段優(yōu)先 - 組合索引代替多個(gè)單列索引(由于mysql中每次只能使用一個(gè)索引,所以經(jīng)常使用多個(gè)條件查詢時(shí)更適合使用組合索引) - 盡量使用短索引 - 使用連接(JOIN)來代替子查詢(Sub-Queries) - 連表時(shí)注意條件類型需一致 - 索引散列值(重復(fù)少)不適合建索引,例:性別不適合八 慢日志查詢
a、配置MySQL自動(dòng)記錄慢日志
slow_query_log = OFF 是否開啟慢日志記錄
long_query_time = 2 時(shí)間限制,超過此時(shí)間,則記錄
slow_query_log_file = /usr/slow.log 日志文件
log_queries_not_using_indexes = OFF 為使用索引的搜索是否記錄
注:查看當(dāng)前配置信息:
show variables like '%query%'
修改當(dāng)前配置:
set global 變量名 = 值
九、創(chuàng)建索引時(shí)的問題
1.Specified key was too long; max key length is 767 bytes
原因:
① innodb 存儲(chǔ)引擎,多列索引的長度限制如下:
每個(gè)列的長度不能大于767 bytes;所有組成索引列的長度和不能大于3072 bytes
② myisam 存儲(chǔ)引擎,多列索引長度限制如下:
每個(gè)列的長度不能大于1000 bytes,所有組成索引列的長度和不能大于1000 bytes
解決辦法:
先說最推薦的:
1、前綴索引,不使用列的全部內(nèi)容作為索引,使用一部分,例如在原有的例子中我們使用了test列作為索引無法建表,但是如果改為使用test(255)作為索引就可以了,這就是所謂的使用前綴索引:
2、升級(jí)mysql;
3、縮小索引長度(256縮小到255以下);
4、修改字符集(utf-8修改到GBK)
?
總結(jié)
以上是生活随笔為你收集整理的MySQL 之 索引的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 网管随笔02---【爱普生R230打印机
- 下一篇: mysql正在运行安全文件怎么办_MyS