Golang goroutine

goroutine 是 Golang的最大賣點之一,它讓并發編程變的十分簡單,僅僅使用 go關鍵字就能快速的創建goroutine。與其他語言設計并發程序相比,這極大的減少了程序員的心智負擔。

goroutine的特點

  • 輕量級

goroutine是用戶態"線程",開銷非常小,最新golang版本默認為goroutine分配的初始棧大小為2k,同時會根據運行狀況動態擴展或收縮。一個有2G內存的機器,理論上可以容納一百萬 goroutine。

  • 協作式調度

golang的runtime采用協作式調度,goroutine的運行原則上不能被搶占,除非goroutine主動讓出CPU,否則goroutine會運行到結束,所以context switch 開銷基本可以忽略。

  • 高效的線程模型

golang為了充分發揮多核機器的優勢,采用了M:N線程模型,即M個內核線程,每個內核線程可以為N個goroutine提供運行環境,最大限度的發揮了多核機器的能力。

幾個關鍵的數據結構

  • g

g代表一個goroutine實例,在golang源碼src/runtime/runtime2.go 中,可以看到g的詳細定義。和普通的線程一樣,g主要包含:可伸縮的運行棧,goroutine切換時的上下文環境(gobuf),程序計數器,基地址,可執行代碼等。

type g struct {
        stack      stack   // offset known to runtime/cgo
        sched     gobuf
        goid        int64
        gopc       uintptr // pc of go statement that created this goroutine
        startpc    uintptr // pc of goroutine function
        ... ...
}
  • m

m代表一個內核線程,是goroutine真正的執行環境。一般會有一個內核線程池,當goroutine因為等待網絡數據或者讀取文件等阻塞時,goroutine會綁定在這個m上,等到阻塞操作的完成后重新綁定到一個p上繼續運行。若暫時找不到可用的p,那么這個goroutine會放到全局的 run queue 中。

type m struct {
    g0      *g     // goroutine with scheduling stack
    mstartfn      func()
    curg          *g       // current running goroutine
 .... ..
}

  • p

早起版本的golang實現不包含p這一結構,p表示一個邏輯處理器,p的數量一般為機器的CPU核心數,每個p下面掛載有等待被調度的goroutine. 每個 goroutine想要運行需要首先獲得p才能被調度。p數量決定了系統的最大并發度。

type p struct {
    lock mutex

    id          int32
    status      uint32 // one of pidle/prunning/...

    mcache      *mcache
    racectx     uintptr

    // Queue of runnable goroutines. Accessed without lock.
    runqhead uint32
    runqtail uint32
    runq     [256]guintptr

    runnext guintptr

    // Available G's (status == Gdead)
    gfree    *g
    gfreecnt int32

  ... ...
}

g, m, p 的關系如下圖所示

G,M,P關系圖(圖片來自網絡)

上圖左半部分,M1為空閑線程,M0線程下面有一個P和它綁定,P下面有一個正在運行的G0,還有其他等待運行的G。在某個時候,G0中發生了系統調用,P與M0解綁,尋找空閑的線程M1,綁定到上面繼續執行P下的其他G,M0與G0陷入系統調用,如上圖右半部分所示。

為何需要搶占式調度

goroutine里面的代碼執行沒有確定的時間,如果一個goroutine長期占有p運行,甚至一個死循環,那么p下面的其他g就無法得到調度,這種情況是我們不希望看到的。幸好,系統監控線程 sysmon可以判斷這種情況,它可以打斷當前goroutine的執行,使P下的其他G得到調度。

sysmon主要完成如下工作:

  • 釋放閑置超過5分鐘的span物理內存;
  • 如果超過2分鐘沒有垃圾回收,強制執行;
  • 將長時間未處理的netpoll結果添加到任務隊列;
  • 向長時間運行的G任務發出搶占調度;
  • 收回因syscall長時間阻塞的P;

因此,我們不應該在goroutine里面設計長時間運行的任務。這種搶占機制在一定程度上保證了同一P下G的公平調度。

work stealing 算法

當p下面沒有可供調度的goroutine時,他會從global run queue或者其他p下的goroutine中“偷” 一部分goroutine來運行,這樣最大限度的利用多核。這在一定程度上保證了在各個CPU核上的負載均衡。

如何處理阻塞的系統調用

對于普通的文件IO操作一旦阻塞,那么m就會進入sleep狀態,IO完成之后才會被喚醒。這種情況下,p將與m分離,選擇其他空閑的m繼續執行。如果沒有空閑的m,那么就會新創建一個m。可想而知,如果有大量的這樣的文件IO操作,大量的m將會被創建出來,這時候操作系統對m的調度開銷就不能忽視了。

針對網絡IO,golang使用netpoller做出了特別的優化,這樣goroutine里面發起網絡IO也不會導致m被阻塞,從而不會引起創建大量的內核線程m。

goroutine的調度順序

調度器對goroutine的調度是隨機的,沒有固定的順序,即使設置 runtime.GOMAXPROCS(1)。看一個實例程序。

package main

import (
    "fmt"
    "time"
    "runtime"
)

func foo(n int) {
    fmt.Println(n)
}

func main() {
    runtime.GOMAXPROCS(1)
    for i := 0; i < 10000; i++ {
        go foo(i)
    }
    
    time.Sleep(2 * time.Second)
}

上述代碼不會從 0 開始順序打印到 10000。即使設置 runtime.GOMAXPROCS(1),我們也看到 goroutine的調度是隨機的。

goroutine發生調度的時機

goroutine在獲得m時一般不能一直運行到完畢,它們往往可能要等待其他資源才能執行完成,比如說一個http請求收到服務器響應這個goroutine才算完成了他的任務。在等待服務器響應的這一段時間它不會占用CPU時間 ,調度器會調度其他goroutine繼續執行。goroutine遇到下面的情況下可能會產生重新調度

  • 阻塞 I/O
  • select操作
  • 阻塞在channel
  • 等待鎖
  • 主動調用 runtime.Gosched()

參考鏈接

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 227,882評論 6 531
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 98,208評論 3 414
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 175,746評論 0 373
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,666評論 1 309
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,477評論 6 407
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 54,960評論 1 321
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,047評論 3 440
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,200評論 0 288
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 48,726評論 1 333
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,617評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 42,807評論 1 369
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,327評論 5 358
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,049評論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,425評論 0 26
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,674評論 1 281
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,432評論 3 390
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 47,769評論 2 372

推薦閱讀更多精彩內容

  • 并發(并行),一直以來都是一個編程語言里的核心主題之一,也是被開發者關注最多的話題;Go語言作為一個出道以來就自帶...
    駐馬聽雪閱讀 3,026評論 3 27
  • 1. C/C++ 與 Go語言的“價值觀”對照 C的價值觀摘錄 相信程序員:提供指針和指針運算,讓C程序員天馬行空...
    ywhu閱讀 6,917評論 0 13
  • 理解并發和并行并發:同時管理多件事情。并行:同時做多件事情。表示同時發生了多件事情,通過時間片切換,哪怕只有單一的...
    Chuck_Hu閱讀 6,056評論 7 44
  • 概要 本文從幾個角度入手,描述和學習調度器原理 講解調度器的基本概念 go語言的作者實現的C的協程庫 libtas...
    zengfan閱讀 6,393評論 0 21
  • 商務會議,當天中午到,下午會議。會后會餐。后一個人去古城,拍夜景。
    行攝在路上閱讀 517評論 0 0