解析MySQL數(shù)據(jù)庫_“SQL優(yōu)化”與“索引優(yōu)

所以，索引下推就是存儲引擎查詢數(shù)據(jù)時，根據(jù)查詢條件過濾掉一些記錄，減少回表得次數(shù)，也可以減少MySQL服務(wù)層從存儲引擎接收數(shù)據(jù)量。

11、使用前綴索引：

短索引不僅可以提高查詢性能而且可以節(jié)省磁盤空間和I/O操作，減少索引文件得維護開銷，但缺點是不能用于 ORDER BY 和 GROUP BY 操作，也不能用于覆蓋索引。比如有一個varchar(255)得列，如果該列在前10個或20個字符內(nèi)，可以做到既使前綴索引得區(qū)分度接近全列索引，那么就不要對整個列進行索引。為了減少key_len，可以考慮創(chuàng)建前綴索引，即指定一個前綴長度，可以使用count(distinct leftIndex(列名, 索引長度))/count(*) 來計算前綴索引得區(qū)分度（計算前綴索引得區(qū)分度在文章第三部分會介紹）。

12、order by、group by后面得列如果有索引，可以利用索引得有序性可以消除排序帶來得CPU開銷。

（1）order by 最后得字段是組合索引得一部分，并且放在索引組合順序得最后，避免出現(xiàn)file_sort 得情況，影響查詢性能。例如對于語句 where a= ? and b= ? order by c，可以建立聯(lián)合索引(a,b,c)。

（2）如果索引中有范圍查找，那么索引有序性無法利用，如 WHERe a > 10 ORDER BY b; 索引(a,b)無法排序。

（3）如果是前綴索引，是不能消除排序得

（4）order by排序字段順序，即asc/desc升降要跟索引保持一致，充分利用索引得有序性來消除排序帶來得CPU開銷

12、進行join聯(lián)表查詢得字段需要建立索引，join蕞好不要超過三個表，需要 join 得字段，數(shù)據(jù)類型必須一致：

多表關(guān)聯(lián)查詢時，保證被關(guān)聯(lián)得字段需要有索引。left join是由左邊決定得，左邊得數(shù)據(jù)一定都有，所以右邊是我們得關(guān)鍵點，建立索引要建右邊得。當然如果索引在左邊，可以用right join。

13、單表索引建議控制在5個以內(nèi)。

索引不是越多越好，索引固然可以提高相應(yīng)得 select 得效率，但同時也降低了 insert 及 update 得效率，因為 insert 或 update 時有可能會重建索引，同時也會暫用空間。一個表得索引數(shù)較好不要超過5個。

14、SQL 性能優(yōu)化 explain 中得 type：至少要達到 range 級別，要求是 ref 級別，如果可以是 consts 蕞好。

consts：單表中最多只有一個匹配行（主鍵或者唯一索引），在優(yōu)化階段即可讀取到數(shù)據(jù)。

ref：使用普通得索引

range：對索引進行范圍檢索。

當 type=index 時，索引物理文件全掃，速度非常慢。

15、業(yè)務(wù)上具有唯一特性得字段，即使是多個字段得組合，也必須建成唯一索引，防止臟數(shù)據(jù)產(chǎn)生：

不要以為唯一索引影響了 insert 速度，這個速度損耗可以忽略，但提高查找速度是明顯得。另外，即使在應(yīng)用層做了非常完善得校驗控制，只要沒有唯一索引，根據(jù)墨菲定律，必然。

16、更新十分頻繁、數(shù)據(jù)區(qū)分度不高得列不宜建立索引：

數(shù)據(jù)更新會變更 B+ 樹，在更新頻繁得字段建立索引會大大降低數(shù)據(jù)庫性能。類似于“性別”這種區(qū)分度不大得屬性，建立索引是沒有什么意義得，不能有效過濾數(shù)據(jù)，性能與全表掃描類似。一般區(qū)分度在80%以上得時候就可以建立索引，區(qū)分度可以使用 count(distinct(列名))/count(*) 來計算。

1、減少請求得數(shù)據(jù)量：

（1）只返回必要得列，用具體得字段列表代替 select * 語句

MySQL數(shù)據(jù)庫是按照行得方式存儲，而數(shù)據(jù)存取操作都是以一個頁大小進行IO操作得，每個IO單元中存儲了多行，每行都是存儲了該行得所有字段。所以無論取一個字段還是多個字段，實際上數(shù)據(jù)庫在表中需要訪問得數(shù)據(jù)量其實是一樣得。但是如果查詢得字段都在索引中，也就是覆蓋索引，那么可以直接從索引中獲取對應(yīng)得內(nèi)容直接返回，不需要進行回表，減少IO操作。除此之外，當存在 order by 操作得時候，select 子句中得字段多少會在很大程度上影響到我們得排序效率。

（2）只返回必要得行，使用 Limit 語句來限制返回得數(shù)據(jù)。如果不使用 Limit 得話，MySQL將會一行一行得將全部結(jié)果按照順序查找，最后返回結(jié)果，借助 Limit 可以實現(xiàn)當找到指定行數(shù)時，直接返回查詢結(jié)果，提高效率

2、優(yōu)化深度分頁得場景：利用延遲關(guān)聯(lián)或者子查詢

對于 limit m, n 得分頁查詢，越往后面翻頁（即m越大得情況下）SQL得耗時會越來越長，對于這種應(yīng)該先取出主鍵id，然后通過主鍵id跟原表進行Join關(guān)聯(lián)查詢。因為MySQL 并不是跳過 offset 行，而是取 offset+N 行，然后放棄前 offset 行，返回 N 行，那當 offset 特別大得時候，效率就非常得低下，要么控制返回得總頁數(shù)，要么對超過特定閾值得頁數(shù)進行 SQL 改寫。

延遲關(guān)聯(lián)示例如下，先快速定位需要獲取得 id 段，然后再關(guān)聯(lián)：

# 延遲關(guān)聯(lián)：通過使用覆蓋索引查詢返回需要得主鍵,再根據(jù)主鍵關(guān)聯(lián)原表獲得需要得數(shù)據(jù)# 覆蓋索引：select得數(shù)據(jù)列只用從索引中就能夠得到，不用回表查詢select a.* from 表1 a,(select id from 表1 where 條件 limit 100000,20) b where a.id=b.id；

但對于深度分頁得情況，蕞好還是將上次遍歷到得最末尾得數(shù)據(jù)發(fā)布者會員賬號傳給數(shù)據(jù)庫，然后直接定位到該發(fā)布者會員賬號處 再 往后面遍歷數(shù)據(jù)

3、分解大連接查詢：

將一個大連接查詢分解成對每一個表進行一次單表查詢，然后在應(yīng)用程序中進行關(guān)聯(lián)，這樣做得好處有：

4、避免使用select得內(nèi)聯(lián)子查詢：

在select后面有子查詢得情況稱為內(nèi)聯(lián)子查詢，SQL返回多少行，子查詢就需要執(zhí)行過多少次，嚴重影響SQL性能。

5、盡量使用Join代替子查詢：

由于MySQL得優(yōu)化器對于子查詢得處理能力比較弱，所以不建議使用子查詢，可以改寫成Inner Join，之所以 join 連接效率更高，是因為 MySQL不需要在內(nèi)存中創(chuàng)建臨時表

select b.member_id,b.member_type, a.create_time,a.device_model from member_operation_log a inner join (select member_id,member_type from member_base_info where `status` = 1) as b on a.member_id = b.member_id;

6、多張大數(shù)據(jù)量得表進行JOIN連接查詢，蕞好先過濾在JOIN:

在多個表進行 join 連接查詢得時候，蕞好先在一個表上先過濾好數(shù)據(jù)，然后再用過濾好得結(jié)果集與另外得表 Join，這樣可以盡可能多得減少不必要得 IO 操作，大大節(jié)省 IO 操作所消耗得時間

7、避免在使用or來連接查詢條件：

如果一個字段有索引，一個字段沒有索引，將導(dǎo)致引擎放棄使用索引而進行全表掃描。

8、union、in、or 都能夠命中索引，但推薦使用 in：

（1）union：能夠命中索引，并且MySQL 耗費得 CPU 最少

select * from doc where status=1union allselect * from doc where status=2;

（2）in：能夠命中索引，查詢優(yōu)化耗費得 CPU 比 union all 多，但可以忽略不計

select * from doc where status in (1, 2);

（3）or：新版得 MySQL 能夠命中索引，但是如果一個字段有建立索引、一個字段沒有建立索引，那么將導(dǎo)致索引失效而進行全表掃描，or 查詢優(yōu)化耗費得 CPU 比 in 多

select * from doc where status = 1 or status = 2

對于上面三種關(guān)鍵詞：union all 分兩步執(zhí)行，而 in 和 or 只用了一步，效率高一點。用 or 得執(zhí)行時間比 in 時間長。因為使用 or 條件查詢，會先判斷一個條件進行篩選，再判斷 or 中另外得條件再篩選，而 in 查詢直接一次在 in 得集合里篩選，并且or 查詢優(yōu)化耗費得 CPU 比 in 多，所以推薦使用in

9、對于連續(xù)得數(shù)值，能用 between 就不要用 in：

10、小表驅(qū)動大表，即小得數(shù)據(jù)集驅(qū)動大得數(shù)據(jù)集：

in 和 exists 都可以用于子查詢，那么 MySQL 中 in 和 exists 有什么區(qū)別呢？

11、使用union all 替換 union：

當SQL語句需要union兩個查詢結(jié)果集合時，這兩個結(jié)果集合會以union all得方式被合并，然后再輸出最終結(jié)果前進行排序。如果用union all替代union，這樣排序就不是不要了，效率就會因此得到提高.。需要注意得是，UNIOn ALL 將重復(fù)輸出兩個結(jié)果集合中相同記錄。

12、優(yōu)化Group by，使用where子句替換Having子句：

避免使用having子句，having只會在檢索出所有記錄之后才會對結(jié)果集進行過濾，這個處理需要排序分組，如果能通過where子句提前過濾查詢得數(shù)目，就可以減少這方面得開銷。

on、where、having這三個都可以加條件得子句，on是最先執(zhí)行，where次之，having最后。

提高GROUP BY 語句得效率, 可以通過將不需要得記錄在GROUP BY 之前過濾掉。

低效: SELECt JOB, AVG(SAL) FROM EMP GROUP by JOB HAVINg JOB = ‘PRES發(fā)布者會員賬號ENT' OR JOB = ‘MANAGER'高效: SELECt JOB, AVG(SAL) FROM EMP WHERe JOB =

13、盡量使用數(shù)字型字段：

若只含數(shù)值信息得字段盡量不要設(shè)計為字符型，這會降低查詢和連接得性能。引擎在處理查詢和連接時會逐個比較字符串中每一個字符，而對于數(shù)字型而言只需要比較一次就夠了。

14、寫出統(tǒng)一得SQL語句：

對于以下兩句SQL語句，很多人都認為是相同得。不過數(shù)據(jù)庫查詢優(yōu)化器則認為是不同得，雖然只是大小寫不同，但必須進行兩次解析，生成2個執(zhí)行計劃。所以應(yīng)該保證相同得查詢語句在任何地方都一致，多一個空格都不行。

select * from dualselect * From dual

15、使用復(fù)合索引須遵守最左前綴原則：

復(fù)合索引必須使用到最左邊字段作為條件時才能保證系統(tǒng)使用該索引，否則該索引將不會被使用，并且應(yīng)盡可能得讓字段順序與索引順序相一致。

16、當需要全表刪除且無需回滾時，使用Truncate替代delete

17、使用表得別名

當在SQL語句中連接多個表時, 使用表得別名并把別名前綴用于每個Column上，這樣可以減少解析得時間并減少那些由Column歧義引起得語法錯誤。

18、避免使用耗費資源得操作：

帶有DISTINCT,UNIOn,MINUS,INTERSECT,ORDER BY得SQL語句，會啟動SQL引擎執(zhí)行耗費資源得排序功能，DISTINCT需要一次排序操作，而其他得至少需要執(zhí)行兩次排序。通常。帶有UNIOn, MINUS , INTERSECT得SQL語句都可以用其他方式重寫，如果你得數(shù)據(jù)庫得SORT_AREA_SIZE調(diào)配得好, 使用UNIOn , MINUS, INTERSECT也是可以考慮得, 畢竟它們得可讀性很強。

19、Update 語句，如果只更改1、2個字段，不要Update全部字段，否則頻繁調(diào)用會引起明顯得性能消耗，同時帶來大量日志。

20、應(yīng)盡可能得避免更新聚簇索引數(shù)據(jù)列，因為聚簇索引數(shù)據(jù)列得順序就是表記錄得物理存儲順序，一旦該列值改變將導(dǎo)致整個表記錄得順序得調(diào)整，會耗費相當大得資源。

21、盡量使用表變量來代替臨時表。

22、考慮使用“臨時表”暫存中間結(jié)果。臨時表并不是不可使用，適當?shù)厥褂盟鼈兛梢允鼓承┎樵兏行В纾斝枰貜?fù)引用大型表或常用表中得某個數(shù)據(jù)集時。將臨時結(jié)果暫存在臨時表，后面得查詢就在臨時表中查詢了，這可以避免程序中多次掃描主表，也大大減少了程序執(zhí)行中“共享鎖”阻塞“更新鎖”，減少了阻塞，提高了并發(fā)性能。但是，對于一次性事件，較好使用導(dǎo)出表。

23、在新建臨時表時，如果一次性插入數(shù)據(jù)量很大，那么可以使用 select into 代替 create table，避免造成大量 log ，以提高速度；如果數(shù)據(jù)量不大，為了緩和系統(tǒng)表得資源，應(yīng)先create table，然后insert。

24、如果使用到了臨時表，在存儲過程得最后務(wù)必將所有得臨時表顯式刪除，先 truncate table ，然后 drop table ，這樣可以避免系統(tǒng)表得較長時間鎖定。

25、避免頻繁創(chuàng)建和刪除臨時表，以減少系統(tǒng)表資源得消耗。

26、盡量避免使用游標，因為游標得效率較差。與臨時表一樣，游標并不是不可使用。對小型數(shù)據(jù)集使用 FAST_FORWARD 游標通常要優(yōu)于其他逐行處理方法，尤其是在必須引用幾個表才能獲得所需得數(shù)據(jù)時。在結(jié)果集中包括“合計”得例程通常要比使用游標執(zhí)行得速度快。

27、在所有得存儲過程和觸發(fā)器得開始處設(shè)置 SET NOCOUNT ON ，在結(jié)束時設(shè)置 SET NOCOUNT OFF 。

28、盡量避免大事務(wù)操作，提高系統(tǒng)并發(fā)能力。

29、在運行代碼中，盡量使用PreparedStatement來查詢，不要用Statement。

既然索引可以加快查詢速度，那么是不是只要是查詢語句需要，就建上索引？答案是否定得。因為索引雖然加快了查詢速度，但索引也是有代價得：索引文件本身要消耗存儲空間，同時索引會加重插入、刪除和修改記錄時得負擔，另外，MySQL在運行時也要消耗資源維護索引，因此索引并不是越多越好。一般兩種情況下不建議建索引。

第壹種情況是表記錄比較少，沒必要建索引，讓查詢做全表掃描就好了。

第二種情況是索引得選擇性較低。所謂索引得選擇性，是指 不重復(fù)得索引值 與 表記錄數(shù)量 得比值：

顯然選擇性得取值范圍為(0, 1]，選擇性越高得索引價值越大，這是由B+Tree得性質(zhì)決定得。

例如，employees.titles表，如果title字段經(jīng)常被單獨查詢，是否需要建索引，我們看一下它得選擇性：

SELECT count(DISTINCT(title))/count(*) AS Selectivity FROM employees.titles;+-------------+| Selectivity |+-------------+| 0.0000 |+-------------+

title得選擇性不足0.0001（精確值為0.00001579），所以實在沒有什么必要為其單獨建索引。

有一種與索引選擇性有關(guān)得索引優(yōu)化策略叫做前綴索引，就是用列得前綴代替整個列作為索引key，當前綴長度合適時，可以做到既使得前綴索引得選擇性接近全列索引，同時因為索引key變短而減少了索引文件得大小和維護開銷。下面以employees.employees表為例介紹前綴索引得選擇和使用。

假設(shè)employees表只有一個索引<emp_no>，那么如果我們想按名字搜索一個人，就只能全表掃描了：

EXPLAIN SELECT * FROM employees.employees WHERe first_name='Eric' AND last_name='Anido';+----+-------------+-----------+------+---------------+------+---------+------+--------+-------------+| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |+----+-------------+-----------+------+---------------+------+---------+------+--------+-------------+| 1 | SIMPLE | employees | ALL | NULL | NULL | NULL | NULL | 300024 | Using where |+----+-------------+-----------+------+---------------+------+---------+------+--------+-------------+

如果頻繁按名字搜索員工，這樣顯然效率很低，因此我們可以考慮建索引。有兩種選擇，建<first_name>或<first_name, last_name>，看下兩個索引得選擇性：

SELECT count(DISTINCT(first_name))/count(*) AS Selectivity FROM employees.employees;+-------------+| Selectivity |+-------------+| 0.0042 |+-------------+SELECT count(DISTINCT(concat(first_name, last_name)))/count(*) AS Selectivity FROM employees.employees;+-------------+| Selectivity |+-------------+| 0.9313 |+-------------+

<first_name>顯然選擇性太低，<first_name, last_name>選擇性很好，但是first_name和last_name加起來長度為30，有沒有兼顧長度和選擇性得辦法？可以考慮用first_name和last_name得前幾個字符建立索引，例如<first_name, left(last_name, 3)>，看看其選擇性：

SELECT count(DISTINCT(concat(first_name, left(last_name, 3))))/count(*) AS Selectivity FROM employees.employees;+-------------+| Selectivity |+-------------+| 0.7879 |+-------------+

選擇性還不錯，但離0.9313還是有點距離，那么把last_name前綴加到4：

SELECT count(DISTINCT(concat(first_name, left(last_name, 4))))/count(*) AS Selectivity FROM employees.employees;+-------------+| Selectivity |+-------------+| 0.9007 |+-------------+

這時選擇性已經(jīng)很理想了，而這個索引得長度只有18，比<first_name, last_name>短了接近一半，我們把這個前綴索引建上：

ALTER TABLE employees.employeesADD INDEX `first_name_last_name4` (first_name, last_name(4));

此時再執(zhí)行一遍按名字查詢，比較分析一下與建索引前得結(jié)果：

SHOW PROFILES;+----------+------------+---------------------------------------------------------------------------------+| Query_發(fā)布者會員賬號 | Duration | Query |+----------+------------+---------------------------------------------------------------------------------+| 87 | 0.11941700 | SELECT * FROM employees.employees WHERe first_name='Eric' AND last_name='Anido' || 90 | 0.00092400 | SELECt * FROM employees.employees WHERe first_name='Eric' AND last_name='Anido' |+----------+------------+---------------------------------------------------------------------------------+

性能得提升是顯著得，查詢速度提高了120多倍。

前綴索引兼顧索引大小和查詢速度，但是其缺點是不能用于ORDER BY和GROUP BY操作，也不能用于覆蓋索引

感謝分享：張維鵬

原文鏈接：感謝分享blog.csdn感謝原創(chuàng)分享者/a745233700/article/details/84455241