單臺(tái)機(jī)器支持的tcp最大連接數(shù)

常識(shí)一:文件句柄限制

在linux下編寫(xiě)網(wǎng)絡(luò)服務(wù)器程序的朋友肯定都知道每一個(gè)tcp連接都要占一個(gè)文件描述符,一旦這個(gè)文件描述符使用完了,新的連接到來(lái)返回給我們的錯(cuò)誤是“Socket/File:Can’topen so many files”。

這時(shí)你需要明白操作系統(tǒng)對(duì)可以打開(kāi)的最大文件數(shù)的限制。

進(jìn)程限制

執(zhí)行ulimit -n 輸出1024,說(shuō)明對(duì)于一個(gè)進(jìn)程而言最多只能打開(kāi)1024個(gè)文件,所以你要采用此默認(rèn)配置最多也就可以并發(fā)上千個(gè)TCP連接。

臨時(shí)修改:ulimit -n1000000,但是這種臨時(shí)修改只對(duì)當(dāng)前登錄用戶目前的使用環(huán)境有效,系統(tǒng)重啟或用戶退出后就會(huì)失效。

永久修改:編輯/etc/security/limits.conf 文件, 修改后內(nèi)容為

soft nofile 1000000

hard nofile 1000000

全局限制

執(zhí)行 cat/proc/sys/fs/file-nr 輸出9344 0592026,分別為:1.已經(jīng)分配的文件句柄數(shù),2.已經(jīng)分配但沒(méi)有使用的文件句柄數(shù),3.最大文件句柄數(shù)。但在kernel2.6版本中第二項(xiàng)的值總為0,這并不是一個(gè)錯(cuò)誤,它實(shí)際上意味著已經(jīng)分配的文件描述符無(wú)一浪費(fèi)的都已經(jīng)被使用了 。

我們可以把這個(gè)數(shù)值改大些,用 root 權(quán)限修改 /etc/sysctl.conf 文件:

? ? fs.file-max = 1000000

? ? net.ipv4.ip_conntrack_max = 1000000

? ? net.ipv4.netfilter.ip_conntrack_max = 1000000

常識(shí)二:端口號(hào)范圍限制

操作系統(tǒng)上端口號(hào)1024以下是系統(tǒng)保留的,從1024-65535是用戶使用的。由于每個(gè)TCP連接都要占一個(gè)端口號(hào),所以我們最多可以有60000多個(gè)并發(fā)連接。我想有這種錯(cuò)誤思路朋友不在少數(shù)吧?(其中我過(guò)去就一直這么認(rèn)為)

我們來(lái)分析一下吧

如何標(biāo)識(shí)一個(gè)TCP連接:系統(tǒng)用一個(gè)4四元組來(lái)唯一標(biāo)識(shí)一個(gè)TCP連接:{local ip, local port,remoteip,remoteport}。好吧,我們拿出《UNIX網(wǎng)絡(luò)編程:卷一》第四章中對(duì)accept的講解來(lái)看看概念性的東西,第二個(gè)參數(shù)cliaddr代表了客戶端的ip地址和端口號(hào)。而我們作為服務(wù)端實(shí)際只使用了bind時(shí)這一個(gè)端口,說(shuō)明端口號(hào)65535并不是并發(fā)量的限制。

server最大tcp連接數(shù):server通常固定在某個(gè)本地端口上監(jiān)聽(tīng),等待client的連接請(qǐng)求。不考慮地址重用(unix的SO_REUSEADDR選項(xiàng))的情況下,即使server端有多個(gè)ip,本地監(jiān)聽(tīng)端口也是獨(dú)占的,因此server端tcp連接4元組中只有remoteip(也就是client ip)和remoteport(客戶端port)是可變的,因此最大tcp連接為客戶端ip數(shù)×客戶端port數(shù),對(duì)IPV4,不考慮ip地址分類等因素,最大tcp連接數(shù)約為2的32次方(ip數(shù))×2的16次方(port數(shù)),也就是server端單機(jī)最大tcp連接數(shù)約為2的48次方。

要寫(xiě)網(wǎng)絡(luò)程序就必須用Socket,這是程序員都知道的。而且,面試的時(shí)候,我們也會(huì)問(wèn)對(duì)方會(huì)不會(huì)Socket編程?一般來(lái)說(shuō),很多人都會(huì)說(shuō),Socket編程基本就是listen,accept以及send,write等幾個(gè)基本的操作。是的,就跟常見(jiàn)的文件操作一樣,只要寫(xiě)過(guò)就一定知道。

對(duì)于網(wǎng)絡(luò)編程,我們也言必稱TCP/IP,似乎其它網(wǎng)絡(luò)協(xié)議已經(jīng)不存在了。對(duì)于TCP/IP,我們還知道TCP和UDP,前者可以保證數(shù)據(jù)的正確和可靠性,后者則允許數(shù)據(jù)丟失。最后,我們還知道,在建立連接前,必須知道對(duì)方的IP地址和端口號(hào)。除此,普通的程序員就不會(huì)知道太多了,很多時(shí)候這些知識(shí)已經(jīng)夠用了。最多,寫(xiě)服務(wù)程序的時(shí)候,會(huì)使用多線程來(lái)處理并發(fā)訪問(wèn)。

我們還知道如下幾個(gè)事實(shí):

一個(gè)指定的端口號(hào)不能被多個(gè)程序共用。比如,如果IIS占用了80端口,那么Apache就不能也用80端口了。

很多防火墻只允許特定目標(biāo)端口的數(shù)據(jù)包通過(guò)。

服務(wù)程序在listen某個(gè)端口并accept某個(gè)連接請(qǐng)求后,會(huì)生成一個(gè)新的socket來(lái)對(duì)該請(qǐng)求進(jìn)行處理。

于是,一個(gè)困惑了我很久的問(wèn)題就產(chǎn)生了。如果一個(gè)socket創(chuàng)建后并與80端口綁定后,是否就意味著該socket占用了80端口呢?如果是這樣的,那么當(dāng)其accept一個(gè)請(qǐng)求后,生成的新的socket到底使用的是什么端口呢(我一直以為系統(tǒng)會(huì)默認(rèn)給其分配一個(gè)空閑的端口號(hào))?如果是一個(gè)空閑的端口,那一定不是80端口了,于是以后的TCP數(shù)據(jù)包的目標(biāo)端口就不是80了–防火墻一定會(huì)組織其通過(guò)的!實(shí)際上,我們可以看到,防火墻并沒(méi)有阻止這樣的連接,而且這是最常見(jiàn)的連接請(qǐng)求和處理方式。我的不解就是,為什么防火墻沒(méi)有阻止這樣的連接?它是如何判定那條連接是因?yàn)閏onnet80端口而生成的?是不是TCP數(shù)據(jù)包里有什么特別的標(biāo)志?或者防火墻記住了什么東西?

后來(lái),我又仔細(xì)研讀了TCP/IP的協(xié)議棧的原理,對(duì)很多概念有了更深刻的認(rèn)識(shí)。比如,在TCP和UDP同屬于傳輸層,共同架設(shè)在IP層(網(wǎng)絡(luò)層)之上。而IP層主要負(fù)責(zé)的是在節(jié)點(diǎn)之間(End? to?End)的數(shù)據(jù)包傳送,這里的節(jié)點(diǎn)是一臺(tái)網(wǎng)絡(luò)設(shè)備,比如計(jì)算機(jī)。因?yàn)镮P層只負(fù)責(zé)把數(shù)據(jù)送到節(jié)點(diǎn),而不能區(qū)分上面的不同應(yīng)用,所以TCP和UDP協(xié)議在其基礎(chǔ)上加入了端口的信息,端口于是標(biāo)識(shí)的是一個(gè)節(jié)點(diǎn)上的一個(gè)應(yīng)用。除了增加端口信息,UPD協(xié)議基本就沒(méi)有對(duì)IP層的數(shù)據(jù)進(jìn)行任何的處理了。而TCP協(xié)議還加入了更加復(fù)雜的傳輸控制,比如滑動(dòng)的數(shù)據(jù)發(fā)送窗口(Slice?Window),以及接收確認(rèn)和重發(fā)機(jī)制,以達(dá)到數(shù)據(jù)的可靠傳送。不管應(yīng)用層看到的是怎樣一個(gè)穩(wěn)定的TCP數(shù)據(jù)流,下面?zhèn)魉偷亩际且粋€(gè)個(gè)的IP數(shù)據(jù)包,需要由TCP協(xié)議來(lái)進(jìn)行數(shù)據(jù)重組。

所以,我有理由懷疑,防火墻并沒(méi)有足夠的信息判斷TCP數(shù)據(jù)包的更多信息,除了IP地址和端口號(hào)。而且,我們也看到,所謂的端口,是為了區(qū)分不同的應(yīng)用的,以在不同的IP包來(lái)到的時(shí)候能夠正確轉(zhuǎn)發(fā)。

TCP/IP只是一個(gè)協(xié)議棧,就像操作系統(tǒng)的運(yùn)行機(jī)制一樣,必須要具體實(shí)現(xiàn),同時(shí)還要提供對(duì)外的操作接口。就像操作系統(tǒng)會(huì)提供標(biāo)準(zhǔn)的編程接口,比如Win32編程接口一樣,TCP/IP也必須對(duì)外提供編程接口,這就是Socket編程接口–原來(lái)是這么回事?。?/p>

在Socket編程接口里,設(shè)計(jì)者提出了一個(gè)很重要的概念,那就是socket。這個(gè)socket跟文件句柄很相似,實(shí)際上在BSD系統(tǒng)里就是跟文件句柄一樣存放在一樣的進(jìn)程句柄表里。這個(gè)socket其實(shí)是一個(gè)序號(hào),表示其在句柄表中的位置。這一點(diǎn),我們已經(jīng)見(jiàn)過(guò)很多了,比如文件句柄,窗口句柄等等。這些句柄,其實(shí)是代表了系統(tǒng)中的某些特定的對(duì)象,用于在各種函數(shù)中作為參數(shù)傳入,以對(duì)特定的對(duì)象進(jìn)行操作–這其實(shí)是C語(yǔ)言的問(wèn)題,在C++語(yǔ)言里,這個(gè)句柄其實(shí)就是this指針,實(shí)際就是對(duì)象指針啦。

現(xiàn)在我們知道,socket跟TCP/IP并沒(méi)有必然的聯(lián)系。Socket編程接口在設(shè)計(jì)的時(shí)候,就希望也能適應(yīng)其他的網(wǎng)絡(luò)協(xié)議。所以,socket的出現(xiàn)只是可以更方便的使用TCP/IP協(xié)議棧而已,其對(duì)TCP/IP進(jìn)行了抽象,形成了幾個(gè)最基本的函數(shù)接口。比如create,listen,accept,connect,read和write等等。

現(xiàn)在我們明白,如果一個(gè)程序創(chuàng)建了一個(gè)socket,并讓其監(jiān)聽(tīng)80端口,其實(shí)是向TCP/IP協(xié)議棧聲明了其對(duì)80端口的占有。以后,所有目標(biāo)是80端口的TCP數(shù)據(jù)包都會(huì)轉(zhuǎn)發(fā)給該程序(這里的程序,因?yàn)槭褂玫氖荢ocket編程接口,所以首先由Socket層來(lái)處理)。所謂accept函數(shù),其實(shí)抽象的是TCP的連接建立過(guò)程。accept函數(shù)返回的新socket其實(shí)指代的是本次創(chuàng)建的連接,而一個(gè)連接是包括兩部分信息的,一個(gè)是源IP和源端口,另一個(gè)是宿IP和宿端口。所以,accept可以產(chǎn)生多個(gè)不同的socket,而這些socket里包含的宿IP和宿端口是不變的,變化的只是源IP和源端口。這樣的話,這些socket宿端口就可以都是80,而Socket層還是能根據(jù)源/宿對(duì)來(lái)準(zhǔn)確地分辨出IP包和socket的歸屬關(guān)系,從而完成對(duì)TCP/IP協(xié)議的操作封裝!而同時(shí),放火墻的對(duì)IP包的處理規(guī)則也是清晰明了,不存在前面設(shè)想的種種復(fù)雜的情形。 明白socket只是對(duì)TCP/IP協(xié)議棧操作的抽象,而不是簡(jiǎn)單的映射關(guān)系,這很重要


python教程? ? ??django教程? ? ??技術(shù)博客? ? ?開(kāi)源教程

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 228,363評(píng)論 6 532
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 98,497評(píng)論 3 416
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人,你說(shuō)我怎么就攤上這事?!?“怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 176,305評(píng)論 0 374
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我,道長(zhǎng),這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 62,962評(píng)論 1 311
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 71,727評(píng)論 6 410
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 55,193評(píng)論 1 324
  • 那天,我揣著相機(jī)與錄音,去河邊找鬼。 笑死,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,257評(píng)論 3 441
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 42,411評(píng)論 0 288
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 48,945評(píng)論 1 335
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 40,777評(píng)論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 42,978評(píng)論 1 369
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,519評(píng)論 5 359
  • 正文 年R本政府宣布,位于F島的核電站,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 44,216評(píng)論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 34,642評(píng)論 0 26
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 35,878評(píng)論 1 286
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 51,657評(píng)論 3 391
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 47,960評(píng)論 2 373

推薦閱讀更多精彩內(nèi)容