日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 运维知识 > 数据库 >内容正文

数据库

mysql 1千万 like优化_MYSQL千万级数据量的优化方法积累

發布時間:2023/12/2 数据库 28 豆豆
生活随笔 收集整理的這篇文章主要介紹了 mysql 1千万 like优化_MYSQL千万级数据量的优化方法积累 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

1、分庫分表

很明顯,一個主表(也就是很重要的表,例如用戶表)無限制的增長勢必嚴重影響性能,分庫與分表是一個很不錯的解決途徑,也就是性能優化途徑,現在的案例是我們有一個1000多萬條記錄的用戶表members,查詢起來非常之慢,同事的做法是將其散列到100個表中,分別從members0到members99,然后根據mid分發記錄到這些表中,牛逼的代碼大概是這樣子:

for($i=0;$i< 100; $i++ ){

//echo "CREATE TABLE db2.members{$i} LIKE db1.members
";

echo "INSERT INTO members{$i} SELECT * FROM members WHERE mid0={$i}
";

}

?>

2、不停機修改mysql表結構

同樣還是members表,前期設計的表結構不盡合理,隨著數據庫不斷運行,其冗余數據也是增長巨大,同事使用了下面的方法來處理:

先創建一個臨時表:

CREATE TABLE members_tmp LIKE members

然后修改members_tmp的表結構為新結構,接著使用上面那個for循環來導出數據,因為1000萬的數據一次性導出是不對的,mid是主鍵,一個區間一個區間的導,基本是一次導出5萬條吧,這里略去了

接著重命名將新表替換上去:

RENAME TABLE members TO members_bak,members_tmp TO members;

就是這樣,基本可以做到無損失,無需停機更新表結構,但實際上RENAME期間表是被鎖死的,所以選擇在線少的時候操作是一個技巧。經過這個操作,使得原先8G多的表,一下子變成了2G多

另外還講到了mysql中float字段類型的時候出現的詭異現象,就是在pma中看到的數字根本不能作為條件來查詢

3、常用SQL語句優化:

1.???????數據庫(表)設計合理

我們的表設計要符合3NF???3范式(規范的模式) ,?有時我們需要適當的逆范式

2.???????sql語句的優化(索引,常用小技巧.)

3.???????數據的配置(緩存設大)

4.???????適當硬件配置和操作系統?(讀寫分離.)

數據的3NF

1NF :就是具有原子性,不可分割.(只要使用的是關系性數據庫,就自動符合)

2NF:?在滿足1NF?的基礎上,我們考慮是否滿足2NF:?只要表的記錄滿足唯一性,也是說,你的同一張表,不可能出現完全相同的記錄,?一般說我們在?表中設計一個主鍵即可.

3NF:?在滿足2NF?的基礎上,我們考慮是否滿足3NF:即我們的字段信息可以通過關聯的關系,派生即可.(通常我們通過外鍵來處理)

逆范式:?為什么需呀逆范式:

(相冊的功能對應數據庫的設計)

適當的逆范式.

sql語句的優化

sql語句有幾類

ddl (數據定義語言) [create alter drop]

dml(數據操作語言)[insert delete upate ]

select

dtl(數據事務語句) [commit rollback savepoint]

dcl(數據控制語句) [grant??revoke]

show status命令

該命令可以顯示你的mysql數據庫的當前狀態.我們主要關心的是?“com”開頭的指令

show status like ‘Com%’??<=> show session??status like ‘Com%’??//顯示當前控制臺的情況

show global??status like ‘Com%’ ; //顯示數據庫從啟動到?查詢的次數

顯示連接數據庫次數

show status like??'Connections';

這里我們優化的重點是在?慢查詢. (在默認情況下是10 ) mysql5.5.19

顯示查看慢查詢的情況

show variables like ‘long_query_time’

為了教學,我們搞一個海量表(mysql存儲過程)

目的,就是看看怎樣處理,在海量表中,查詢的速度很快!

select * from emp where empno=123456;

需求:如何在一個項目中,找到慢查詢的select , mysql數據庫支持把慢查詢語句,記錄到日志中,程序員分析. (但是注意,默認情況下不啟動.)

步驟:

1.???????要這樣啟動mysql

進入到?mysql安裝目錄

2.??啟動?xx>bin\mysqld.exe –slow-query-log???這點注意

測試?,比如我們把

select * from emp where empno=34678?;

用了1.5秒,我現在優化.

快速體驗:?在emp表的?empno建立索引.

alter table emp add primary key(empno);

//刪除主鍵索引

alter table emp drop primary key

然后,再查速度變快.

l?????????索引的原理

介紹一款非常重要工具explain,?這個分析工具可以對?sql語句進行分析,可以預測你的sql執行的效率.

他的基本用法是:

explain sql語句\G

//根據返回的信息,我們可知,該sql語句是否使用索引,從多少記錄中取出,可以看到排序的方式.

l?????????在什么列上添加索引比較合適

①?????在經常查詢的列上加索引.

②?????列的數據,內容就只有少數幾個值,不太適合加索引.

③?????內容頻繁變化,不合適加索引

l?????????索引的種類

①?????主鍵索引?(把某列設為主鍵,則就是主鍵索引)

②?????唯一索引(unique)?(即該列具有唯一性,同時又是索引)

③?????index?(普通索引)

④?????全文索引(FULLTEXT)

select * from article where content like ‘%李連杰%’;

hello, i am a boy

l???????你好,我是一個男孩=>中文?sphinx

⑤?????復合索引(多列和在一起)

create index myind on?表名?(列1,列2);

l?????????如何創建索引

如果創建unique /?普通/fulltext?索引

1. create [unique|FULLTEXT] index?索引名?on?表名?(列名...)

2. alter table?表名?add index?索引名?(列名...)

//如果要添加主鍵索引

alter table?表名?add primary key (列...)

刪除索引

1.???????drop index?索引名?on?表名

2.???????alter table?表名?drop index index_name;

3.???????alter table?表名?drop primary key

顯示索引

show index(es) from?表名

show keys from?表名

desc?表名

如何查詢某表的索引

show indexes from?表名

l?????????使用索引的注意事項

查詢要使用索引最重要的條件是查詢條件中需要使用索引。

下列幾種情況下有可能使用到索引:1,對于創建的多列索引,只要查詢條件使用了最左邊的列,索引一般就會被使用。2,對于使用like的查詢,查詢如果是‘�a’?不會使用到索引?aaa%’?會使用到索引。

下列的表將不使用索引:1,如果條件中有or,即使其中有條件帶索引也不會使用。2,對于多列索引,不是使用的第一部分,則不會使用索引。3,like查詢是以%開頭4,如果列類型是字符串,那一定要在條件中將數據使用引號引用起來。否則不使用索引。5,如果mysql估計使用全表掃描要比使用索引快,則不使用索引。

l?????????如何檢測你的索引是否有效

結論: Handler_read_key?越大越少

Handler_read_rnd_next?越小越好

fdisk

find

l?????????MyISAM?和?Innodb區別是什么

MyISAM?不支持外鍵, Innodb支持

MyISAM?不支持事務,不支持外鍵.

對數據信息的存儲處理方式不同.(如果存儲引擎是MyISAM的,則創建一張表,對于三個文件..,如果是Innodb則只有一張文件?*.frm,數據存放到ibdata1)

對于?MyISAM?數據庫,需要定時清理

optimize table?表名

l?????????常見的sql優化手法

1.???????使用order by null??禁用排序

比如?select * from dept group by ename order by null

2.???????在精度要求高的應用中,建議使用定點數(decimal)來存儲數值,以保證結果的準確性

3.??如果字段是字符類型的索引,用作條件查詢時一定要加單引號,不然索引無效。

4.??主鍵索引如果沒用到,再查詢for update這種情況,會造成表鎖定。容易造成卡死。

1000000.32?萬

create table sal(t1 float(10,2));

create table sal2(t1 decimal(10,2));

問?在php中?,int?如果是一個有符號數,最大值. int- 4*8=32???2 31 -1

l?????????表的水平劃分

l?????????垂直分割表

如果你的數據庫的存儲引擎是MyISAM的,則當創建一個表,后三個文件. *.frm?記錄表結構. *.myd?數據*.myi?這個是索引.

mysql5.5.19的版本,他的數據庫文件,默認放在?(看?my.ini文件中的配置.)

l?????????讀寫分離

總結

以上是生活随笔為你收集整理的mysql 1千万 like优化_MYSQL千万级数据量的优化方法积累的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。