mysql 1千万 like优化_MYSQL千万级数据量的优化方法积累
1、分庫分表
很明顯,一個主表(也就是很重要的表,例如用戶表)無限制的增長勢必嚴重影響性能,分庫與分表是一個很不錯的解決途徑,也就是性能優化途徑,現在的案例是我們有一個1000多萬條記錄的用戶表members,查詢起來非常之慢,同事的做法是將其散列到100個表中,分別從members0到members99,然后根據mid分發記錄到這些表中,牛逼的代碼大概是這樣子:
for($i=0;$i< 100; $i++ ){
//echo "CREATE TABLE db2.members{$i} LIKE db1.members
";
echo "INSERT INTO members{$i} SELECT * FROM members WHERE mid0={$i}
";
}
?>
2、不停機修改mysql表結構
同樣還是members表,前期設計的表結構不盡合理,隨著數據庫不斷運行,其冗余數據也是增長巨大,同事使用了下面的方法來處理:
先創建一個臨時表:
CREATE TABLE members_tmp LIKE members
然后修改members_tmp的表結構為新結構,接著使用上面那個for循環來導出數據,因為1000萬的數據一次性導出是不對的,mid是主鍵,一個區間一個區間的導,基本是一次導出5萬條吧,這里略去了
接著重命名將新表替換上去:
RENAME TABLE members TO members_bak,members_tmp TO members;
就是這樣,基本可以做到無損失,無需停機更新表結構,但實際上RENAME期間表是被鎖死的,所以選擇在線少的時候操作是一個技巧。經過這個操作,使得原先8G多的表,一下子變成了2G多
另外還講到了mysql中float字段類型的時候出現的詭異現象,就是在pma中看到的數字根本不能作為條件來查詢
3、常用SQL語句優化:
1.???????數據庫(表)設計合理
我們的表設計要符合3NF???3范式(規范的模式) ,?有時我們需要適當的逆范式
2.???????sql語句的優化(索引,常用小技巧.)
3.???????數據的配置(緩存設大)
4.???????適當硬件配置和操作系統?(讀寫分離.)
數據的3NF
1NF :就是具有原子性,不可分割.(只要使用的是關系性數據庫,就自動符合)
2NF:?在滿足1NF?的基礎上,我們考慮是否滿足2NF:?只要表的記錄滿足唯一性,也是說,你的同一張表,不可能出現完全相同的記錄,?一般說我們在?表中設計一個主鍵即可.
3NF:?在滿足2NF?的基礎上,我們考慮是否滿足3NF:即我們的字段信息可以通過關聯的關系,派生即可.(通常我們通過外鍵來處理)
逆范式:?為什么需呀逆范式:
(相冊的功能對應數據庫的設計)
適當的逆范式.
sql語句的優化
sql語句有幾類
ddl (數據定義語言) [create alter drop]
dml(數據操作語言)[insert delete upate ]
select
dtl(數據事務語句) [commit rollback savepoint]
dcl(數據控制語句) [grant??revoke]
show status命令
該命令可以顯示你的mysql數據庫的當前狀態.我們主要關心的是?“com”開頭的指令
show status like ‘Com%’??<=> show session??status like ‘Com%’??//顯示當前控制臺的情況
show global??status like ‘Com%’ ; //顯示數據庫從啟動到?查詢的次數
顯示連接數據庫次數
show status like??'Connections';
這里我們優化的重點是在?慢查詢. (在默認情況下是10 ) mysql5.5.19
顯示查看慢查詢的情況
show variables like ‘long_query_time’
為了教學,我們搞一個海量表(mysql存儲過程)
目的,就是看看怎樣處理,在海量表中,查詢的速度很快!
select * from emp where empno=123456;
需求:如何在一個項目中,找到慢查詢的select , mysql數據庫支持把慢查詢語句,記錄到日志中,程序員分析. (但是注意,默認情況下不啟動.)
步驟:
1.???????要這樣啟動mysql
進入到?mysql安裝目錄
2.??啟動?xx>bin\mysqld.exe –slow-query-log???這點注意
測試?,比如我們把
select * from emp where empno=34678?;
用了1.5秒,我現在優化.
快速體驗:?在emp表的?empno建立索引.
alter table emp add primary key(empno);
//刪除主鍵索引
alter table emp drop primary key
然后,再查速度變快.
l?????????索引的原理
介紹一款非常重要工具explain,?這個分析工具可以對?sql語句進行分析,可以預測你的sql執行的效率.
他的基本用法是:
explain sql語句\G
//根據返回的信息,我們可知,該sql語句是否使用索引,從多少記錄中取出,可以看到排序的方式.
l?????????在什么列上添加索引比較合適
①?????在經常查詢的列上加索引.
②?????列的數據,內容就只有少數幾個值,不太適合加索引.
③?????內容頻繁變化,不合適加索引
l?????????索引的種類
①?????主鍵索引?(把某列設為主鍵,則就是主鍵索引)
②?????唯一索引(unique)?(即該列具有唯一性,同時又是索引)
③?????index?(普通索引)
④?????全文索引(FULLTEXT)
select * from article where content like ‘%李連杰%’;
hello, i am a boy
l???????你好,我是一個男孩=>中文?sphinx
⑤?????復合索引(多列和在一起)
create index myind on?表名?(列1,列2);
l?????????如何創建索引
如果創建unique /?普通/fulltext?索引
1. create [unique|FULLTEXT] index?索引名?on?表名?(列名...)
2. alter table?表名?add index?索引名?(列名...)
//如果要添加主鍵索引
alter table?表名?add primary key (列...)
刪除索引
1.???????drop index?索引名?on?表名
2.???????alter table?表名?drop index index_name;
3.???????alter table?表名?drop primary key
顯示索引
show index(es) from?表名
show keys from?表名
desc?表名
如何查詢某表的索引
show indexes from?表名
l?????????使用索引的注意事項
查詢要使用索引最重要的條件是查詢條件中需要使用索引。
下列幾種情況下有可能使用到索引:1,對于創建的多列索引,只要查詢條件使用了最左邊的列,索引一般就會被使用。2,對于使用like的查詢,查詢如果是‘�a’?不會使用到索引?aaa%’?會使用到索引。
下列的表將不使用索引:1,如果條件中有or,即使其中有條件帶索引也不會使用。2,對于多列索引,不是使用的第一部分,則不會使用索引。3,like查詢是以%開頭4,如果列類型是字符串,那一定要在條件中將數據使用引號引用起來。否則不使用索引。5,如果mysql估計使用全表掃描要比使用索引快,則不使用索引。
l?????????如何檢測你的索引是否有效
結論: Handler_read_key?越大越少
Handler_read_rnd_next?越小越好
fdisk
find
l?????????MyISAM?和?Innodb區別是什么
MyISAM?不支持外鍵, Innodb支持
MyISAM?不支持事務,不支持外鍵.
對數據信息的存儲處理方式不同.(如果存儲引擎是MyISAM的,則創建一張表,對于三個文件..,如果是Innodb則只有一張文件?*.frm,數據存放到ibdata1)
對于?MyISAM?數據庫,需要定時清理
optimize table?表名
l?????????常見的sql優化手法
1.???????使用order by null??禁用排序
比如?select * from dept group by ename order by null
2.???????在精度要求高的應用中,建議使用定點數(decimal)來存儲數值,以保證結果的準確性
3.??如果字段是字符類型的索引,用作條件查詢時一定要加單引號,不然索引無效。
4.??主鍵索引如果沒用到,再查詢for update這種情況,會造成表鎖定。容易造成卡死。
1000000.32?萬
create table sal(t1 float(10,2));
create table sal2(t1 decimal(10,2));
問?在php中?,int?如果是一個有符號數,最大值. int- 4*8=32???2 31 -1
l?????????表的水平劃分
l?????????垂直分割表
如果你的數據庫的存儲引擎是MyISAM的,則當創建一個表,后三個文件. *.frm?記錄表結構. *.myd?數據*.myi?這個是索引.
mysql5.5.19的版本,他的數據庫文件,默認放在?(看?my.ini文件中的配置.)
l?????????讀寫分離
總結
以上是生活随笔為你收集整理的mysql 1千万 like优化_MYSQL千万级数据量的优化方法积累的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 30 校准_校准or质控,傻傻分不清楚
- 下一篇: mysql performance tu