mysql limit 性能優化

** 本文所使用 mysql 版本為 5.6.11 **

起因

需求:獲取某用戶的所有操作記錄日志

日志數量雖然不多,但不可能一股腦的塞給用戶,難看不說,還拖累服務器性能,因而分頁必不可少

limit

基礎用法

limit 的用法是 limit [offset], [rows],其中 offset 表示偏移值, rows 表示需要返回的數據行。

問題

mysql 的 limit 給分頁帶來了極大的方便,但數據偏移量一大,limit 的性能就急劇下降。

以下是兩條查詢語句,都是取10條數據,但性能就相去甚遠。

select * from table_name limit 10000,10

select * from table_name limit 0,10

所以不能簡單的使用 limit 語句實現數據分頁。

探究

為什么 offset 偏大之后 limit 查找會變慢?這需要了解 limit 操作是如何運作的,以下面這句查詢為例:

select * from table_name limit 10000,10

這句 SQL 的執行邏輯是
1.從數據表中讀取第N條數據添加到數據集中
2.重復第一步直到 N = 10000 + 10
3.根據 offset 拋棄前面 10000 條數
4.返回剩余的 10 條數據

顯然,導致這句 SQL 速度慢的問題出現在第二步!這前面的 10000 條數據完全對本次查詢沒有意義,但是卻占據了絕大部分的查詢時間!如何解決?首先我們得了解為什么數據庫為什么會這樣查詢。

首先,數據庫的數據存儲并不是像我們想象中那樣,按表按順序存儲數據,一方面是因為計算機存儲本身就是隨機讀寫,另一方面是因為數據的操作有很大的隨機性,即使一開始數據的存儲是有序的,經過一系列的增刪查改之后也會變得凌亂不堪。所以數據庫的數據存儲是隨機的,使用 B+Tree, Hash 等方式組織索引。所以當你讓數據庫讀取第 10001 條數據的時候,數據庫就只能一條一條的去查去數。

第一次優化

根據數據庫這種查找的特性,就有了一種想當然的方法,利用自增索引(假設為id):

select * from table_name where (id >= 10000) limit 10

由于普通搜索是全表搜索,適當的添加 WHERE 條件就能把搜索從全表搜索轉化為范圍搜索,大大縮小搜索的范圍,從而提高搜索效率。

這個優化思路就是告訴數據庫:「你別數了,我告訴你,第10001條數據是這樣的,你直接去拿吧。」

但是!!!你可能已經注意到了,這個查詢太簡單了,沒有任何的附加查詢條件,如果我需要一些額外的查詢條件,比如我只要某個用戶的數據 ,這種方法就行不通了。

可以見到這種思路是有局限性的,首先必須要有自增索引列,而且數據在邏輯上必須是連續的,其次,你還必須知道特征值。

如此苛刻的要求,在實際應用中是不可能滿足的。

第二次優化

說起數據庫查詢優化,第一時間想到的就是索引,所以便有了第二次優化:先查找出需要數據的索引列(假設為 id),再通過索引列查找出需要的數據。

Select * From table_name Where id in (Select id From table_name where ( user = xxx )) limit 10000, 10;

select * from table_name where( user = xxx ) limit 10000,10

相比較結果是(500w條數據):第一條花費平均耗時約為第二條的 1/3 左右。

同樣是較大的 offset,第一條的查詢更為復雜,為什么性能反而得到了提升?

這涉及到 mysql 主索引的數據結構 b+Tree ,這里不展開,基本原理就是:

  • 子查詢只用到了索引列,沒有取實際的數據,所以不涉及到磁盤IO,所以即使是比較大的 offset 查詢速度也不會太差。
  • 利用子查詢的方式,把原來的基于 user 的搜索轉化為基于主鍵(id)的搜索,主查詢因為已經獲得了準確的索引值,所以查詢過程也相對較快。

第三次優化

在數據量大的時候 in 操作的效率就不怎么樣了,我們需要把 in 操作替換掉,使用 join 就是一個不錯的選擇。

select * from table_name inner join ( select id from table_name where (user = xxx) limit 10000,10) b using (id)

至此 limit 在查詢上的優化就告一段落了。如果還有更好的優化方式,歡迎留言告知

最終優化

技術上的優化始終是有天花板的,業務的優化效果往往更為顯著。

比如在本例中,因為數據的時效性,我們最終決定,只提供最近15天內的操作日志,在這個前提下,偏移值 offset 基本不會超過一萬,這樣一來,即使是沒有經過任何優化的 sql,其執行效率也變得可以接受了,所以優化不能局限于技術層面,有時候對需求進行一下調整,可能會達到意想不到的效果

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 228,030評論 6 531
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 98,310評論 3 415
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 175,951評論 0 373
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,796評論 1 309
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,566評論 6 407
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,055評論 1 322
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,142評論 3 440
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,303評論 0 288
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 48,799評論 1 333
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,683評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 42,899評論 1 369
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,409評論 5 358
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,135評論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,520評論 0 26
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,757評論 1 282
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,528評論 3 390
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 47,844評論 2 372

推薦閱讀更多精彩內容