Nginx憑啥并發(fā)數(shù)可以達(dá)到3w!?

作者:NingG1
鏈接:http://ningg.top/nginx-series-principle/

Nginx 以其高性能,穩(wěn)定性,豐富的功能,簡單的配置和低資源消耗而聞名。本文從底層原理分析 Nginx 為什么這么快!

Nginx 的進(jìn)程模型

image

Nginx 服務(wù)器,正常運(yùn)行過程中:

  • 多進(jìn)程:一個(gè) Master 進(jìn)程、多個(gè) Worker 進(jìn)程。

  • Master 進(jìn)程:管理 Worker 進(jìn)程。對(duì)外接口:接收外部的操作(信號(hào));對(duì)內(nèi)轉(zhuǎn)發(fā):根據(jù)外部的操作的不同,通過信號(hào)管理 Worker;監(jiān)控:監(jiān)控 Worker 進(jìn)程的運(yùn)行狀態(tài),Worker 進(jìn)程異常終止后,自動(dòng)重啟 Worker 進(jìn)程。

  • Worker 進(jìn)程:所有 Worker 進(jìn)程都是平等的。實(shí)際處理:網(wǎng)絡(luò)請(qǐng)求,由 Worker 進(jìn)程處理。Worker 進(jìn)程數(shù)量在 nginx.conf 中配置,一般設(shè)置為核心數(shù),充分利用 CPU 資源,同時(shí),避免進(jìn)程數(shù)量過多,避免進(jìn)程競爭 CPU 資源,增加上下文切換的損耗。

思考:

  • 請(qǐng)求是連接到 Nginx,Master 進(jìn)程負(fù)責(zé)處理和轉(zhuǎn)發(fā)?

  • 如何選定哪個(gè) Worker 進(jìn)程處理請(qǐng)求?請(qǐng)求的處理結(jié)果,是否還要經(jīng)過 Master 進(jìn)程?

image

HTTP 連接建立和請(qǐng)求處理過程

HTTP 連接建立和請(qǐng)求處理過程如下:

  • Nginx 啟動(dòng)時(shí),Master 進(jìn)程,加載配置文件。

  • Master 進(jìn)程,初始化監(jiān)聽的 Socket。

  • Master 進(jìn)程,F(xiàn)ork 出多個(gè) Worker 進(jìn)程。

  • Worker 進(jìn)程,競爭新的連接,獲勝方通過三次握手,建立 Socket 連接,并處理請(qǐng)求。

Nginx 高性能、高并發(fā)

Nginx 為什么擁有高性能并且能夠支撐高并發(fā)?

  • Nginx 采用多進(jìn)程+異步非阻塞方式(IO 多路復(fù)用 Epoll)。

  • 請(qǐng)求的完整過程:建立連接→讀取請(qǐng)求→解析請(qǐng)求→處理請(qǐng)求→響應(yīng)請(qǐng)求。

  • 請(qǐng)求的完整過程對(duì)應(yīng)到底層就是:讀寫 Socket 事件。

Nginx 的事件處理模型

Request:Nginx 中 HTTP 請(qǐng)求。基本的 HTTP Web Server 工作模式:

  • 接收請(qǐng)求:逐行讀取請(qǐng)求行和請(qǐng)求頭,判斷段有請(qǐng)求體后,讀取請(qǐng)求體。

  • 處理請(qǐng)求。

  • 返回響應(yīng):根據(jù)處理結(jié)果,生成相應(yīng)的 HTTP 請(qǐng)求(響應(yīng)行、響應(yīng)頭、響應(yīng)體)。

Nginx 也是這個(gè)套路,整體流程一致:

image

模塊化體系結(jié)構(gòu)

image

Nginx 的模塊根據(jù)其功能基本上可以分為以下幾種類型:

①event module:搭建了獨(dú)立于操作系統(tǒng)的事件處理機(jī)制的框架,及提供了各具體事件的處理。包括 ngx_events_module,ngx_event_core_module 和 ngx_epoll_module 等。

Nginx 具體使用何種事件處理模塊,這依賴于具體的操作系統(tǒng)和編譯選項(xiàng)。

②phase handler:此類型的模塊也被直接稱為 handler 模塊。主要負(fù)責(zé)處理客戶端請(qǐng)求并產(chǎn)生待響應(yīng)內(nèi)容,比如 ngx_http_static_module 模塊,負(fù)責(zé)客戶端的靜態(tài)頁面請(qǐng)求處理并將對(duì)應(yīng)的磁盤文件準(zhǔn)備為響應(yīng)內(nèi)容輸出。

③output filter:也稱為 filter 模塊,主要是負(fù)責(zé)對(duì)輸出的內(nèi)容進(jìn)行處理,可以對(duì)輸出進(jìn)行修改。

例如,可以實(shí)現(xiàn)對(duì)輸出的所有 html 頁面增加預(yù)定義的 footbar 一類的工作,或者對(duì)輸出的圖片的 URL 進(jìn)行替換之類的工作。

④upstream:upstream 模塊實(shí)現(xiàn)反向代理的功能,將真正的請(qǐng)求轉(zhuǎn)發(fā)到后端服務(wù)器上,并從后端服務(wù)器上讀取響應(yīng),發(fā)回客戶端。

upstream 模塊是一種特殊的 handler,只不過響應(yīng)內(nèi)容不是真正由自己產(chǎn)生的,而是從后端服務(wù)器上讀取的。

⑤load-balancer:負(fù)載均衡模塊,實(shí)現(xiàn)特定的算法,在眾多的后端服務(wù)器中,選擇一個(gè)服務(wù)器出來作為某個(gè)請(qǐng)求的轉(zhuǎn)發(fā)服務(wù)器。

常見問題剖析

Nginx vs Apache

Nginx:

  • IO 多路復(fù)用,Epoll(freebsd 上是 kqueue)

  • 高性能

  • 高并發(fā)

  • 占用系統(tǒng)資源少

Apache:

  • 阻塞+多進(jìn)程/多線程

  • 更穩(wěn)定,Bug 少

  • 模塊更豐富

參考文章:

http://www.oschina.net/translate/nginx-vs-apache
https://www.zhihu.com/question/19571087

Nginx 最大連接數(shù)

基礎(chǔ)背景:

  • Nginx 是多進(jìn)程模型,Worker 進(jìn)程用于處理請(qǐng)求。

  • 單個(gè)進(jìn)程的連接數(shù)(文件描述符 fd),有上限(nofile):ulimit -n。

  • Nginx 上配置單個(gè) Worker 進(jìn)程的最大連接數(shù):worker_connections 上限為 nofile。

  • Nginx 上配置 Worker 進(jìn)程的數(shù)量:worker_processes。

因此,Nginx 的最大連接數(shù):

  • Nginx 的最大連接數(shù):Worker 進(jìn)程數(shù)量 x 單個(gè) Worker 進(jìn)程的最大連接數(shù)。

  • 上面是 Nginx 作為通用服務(wù)器時(shí),最大的連接數(shù)。

  • Nginx 作為反向代理服務(wù)器時(shí),能夠服務(wù)的最大連接數(shù):(Worker 進(jìn)程數(shù)量 x 單個(gè) Worker 進(jìn)程的最大連接數(shù))/ 2。

  • Nginx 反向代理時(shí),會(huì)建立 Client 的連接和后端 Web Server 的連接,占用 2 個(gè)連接。

思考:

  • 每打開一個(gè) Socket 占用一個(gè) fd?

  • 為什么,一個(gè)進(jìn)程能夠打開的 fd 數(shù)量有限制?

HTTP 請(qǐng)求和響應(yīng)

HTTP 請(qǐng)求:

  • 請(qǐng)求行:method、uri、http version

  • 請(qǐng)求頭

  • 請(qǐng)求體

HTTP 響應(yīng):

  • 響應(yīng)行:http version、status code

  • 響應(yīng)頭

  • 響應(yīng)體

IO 模型

處理多個(gè)請(qǐng)求時(shí),可以采用:IO 多路復(fù)用或者阻塞 IO+多線程:

  • IO 多路復(fù)用:一個(gè)線程,跟蹤多個(gè) Socket 狀態(tài),哪個(gè)就緒,就讀寫哪個(gè)。

  • 阻塞 IO+多線程:每一個(gè)請(qǐng)求,新建一個(gè)服務(wù)線程。

IO 多路復(fù)用和多線程的適用場(chǎng)景?

  • IO 多路復(fù)用:單個(gè)連接的請(qǐng)求處理速度沒有優(yōu)勢(shì)。

  • 大并發(fā)量:只使用一個(gè)線程,處理大量的并發(fā)請(qǐng)求,降低上下文環(huán)境切換損耗,也不需要考慮并發(fā)問題,相對(duì)可以處理更多的請(qǐng)求。

  • 消耗更少的系統(tǒng)資源(不需要線程調(diào)度開銷)。

  • 適用于長連接的情況(多線程模式長連接容易造成線程過多,造成頻繁調(diào)度)。

  • 阻塞 IO +多線程:實(shí)現(xiàn)簡單,可以不依賴系統(tǒng)調(diào)用。

  • 每個(gè)線程,都需要時(shí)間和空間。

  • 線程數(shù)量增長時(shí),線程調(diào)度開銷指數(shù)增長。

select/poll 和 epoll 比較如下:

詳細(xì)內(nèi)容,參考:

https://www.cnblogs.com/wiessharling/p/4106295.html

select/poll 系統(tǒng)調(diào)用:

// select 系統(tǒng)調(diào)用
int select(int maxfdp,fd_set *readfds,fd_set *writefds,fd_set *errorfds,struct timeval *timeout); 
// poll 系統(tǒng)調(diào)用
int poll(struct pollfd fds[], nfds_t nfds, int timeout);

select:

  • 查詢 fd_set 中,是否有就緒的 fd,可以設(shè)定一個(gè)超時(shí)時(shí)間,當(dāng)有 fd (File descripter) 就緒或超時(shí)返回。

  • fd_set 是一個(gè)位集合,大小是在編譯內(nèi)核時(shí)的常量,默認(rèn)大小為 1024。

  • 特點(diǎn):連接數(shù)限制,fd_set 可表示的 fd 數(shù)量太小了;線性掃描:判斷 fd 是否就緒,需要遍歷一邊 fd_set;數(shù)據(jù)復(fù)制:用戶空間和內(nèi)核空間,復(fù)制連接就緒狀態(tài)信息。

poll:

  • 解決了連接數(shù)限制:poll 中將 select 中的 fd_set 替換成了一個(gè) pollfd 數(shù)組,解決 fd 數(shù)量過小的問題。

  • 數(shù)據(jù)復(fù)制:用戶空間和內(nèi)核空間,復(fù)制連接就緒狀態(tài)信息。

epoll,event 事件驅(qū)動(dòng):

  • 事件機(jī)制:避免線性掃描,為每個(gè) fd,注冊(cè)一個(gè)監(jiān)聽事件,fd 變更為就緒時(shí),將 fd 添加到就緒鏈表。

  • fd 數(shù)量:無限制(OS 級(jí)別的限制,單個(gè)進(jìn)程能打開多少個(gè) fd)。

select,poll,epoll:

  • I/O 多路復(fù)用的機(jī)制。

  • I/O 多路復(fù)用就通過一種機(jī)制,可以監(jiān)視多個(gè)描述符,一旦某個(gè)描述符就緒(一般是讀就緒或者寫就緒),能夠通知程序進(jìn)行相應(yīng)的讀寫操作;監(jiān)視多個(gè)文件描述符。

  • 但 select,poll,epoll 本質(zhì)上都是同步 I/O:用戶進(jìn)程負(fù)責(zé)讀寫(從內(nèi)核空間拷貝到用戶空間),讀寫過程中,用戶進(jìn)程是阻塞的;異步 IO,無需用戶進(jìn)程負(fù)責(zé)讀寫,異步 IO,會(huì)負(fù)責(zé)從內(nèi)核空間拷貝到用戶空間。

Nginx 的并發(fā)處理能力

關(guān)于 Nginx 的并發(fā)處理能力:并發(fā)連接數(shù),一般優(yōu)化后,峰值能保持在 1~3w 左右。(內(nèi)存和 CPU 核心數(shù)不同,會(huì)有進(jìn)一步優(yōu)化空間)。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 228,345評(píng)論 6 531
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 98,494評(píng)論 3 416
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 176,283評(píng)論 0 374
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經(jīng)常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,953評(píng)論 1 309
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 71,714評(píng)論 6 410
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 55,186評(píng)論 1 324
  • 那天,我揣著相機(jī)與錄音,去河邊找鬼。 笑死,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,255評(píng)論 3 441
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 42,410評(píng)論 0 288
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 48,940評(píng)論 1 335
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 40,776評(píng)論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 42,976評(píng)論 1 369
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,518評(píng)論 5 359
  • 正文 年R本政府宣布,位于F島的核電站,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 44,210評(píng)論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,642評(píng)論 0 26
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,878評(píng)論 1 286
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 51,654評(píng)論 3 391
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 47,958評(píng)論 2 373