深入剖析Socket實現(xiàn)

文章出自:http://blog.csdn.net/cumtwyc/article/details/48273085

在我們平時的開發(fā)中用到的最多的是HTTP協(xié)議,而HTTP協(xié)議本身是一種應用層協(xié)議,屬于文本協(xié)議;并且這種協(xié)議也基本上滿足了應用的大部分需求。HTTP協(xié)議當初的設計并沒有想到它應用的是如此的廣泛,所以設計的時候考慮的比較簡單實用,也許也就是這種簡單實用才這么廣泛;但如今,HTTP協(xié)議似乎并不能滿足所有的需求,特別是當今的web2.0時代,瀏覽器應用橫行的年代,也越來越多需要長連接的應用,所以在HTML5以及Flash等客戶端應用中都加入了長連接的定義,并且我也相信在未來的互聯(lián)網(wǎng)開發(fā)中會出現(xiàn)很多的長連接應用。在我們公司也曾經自己開發(fā)過長連接的應用,前端是基于flash的,后端是基于Java的實現(xiàn),自己基于TCP/IP協(xié)議制定了一套穩(wěn)定,安全,可靠的應用層協(xié)議,至今一直在線上運行,情況也比較穩(wěn)定;在此,我想基于我的知識和對于socket的理解在這里做一次分享,也許不是很深入和透徹,但絕對很基礎。

其實如果不理解套接字的具體實現(xiàn)所關聯(lián)的數(shù)據(jù)結構和底層協(xié)議的工作細節(jié),就很難抓住網(wǎng)絡編程的精妙之處,對于TCP套接字(即Socket的實例)來說更是如此。這里我就對創(chuàng)建和使用Socket和ServerSocket實例的底層細節(jié)進行介紹。請注意,這些內容僅僅涵蓋了一些普通的事件實例,略去了很多細節(jié)。盡管如此,我相信即使是這樣的基礎的理解也是有用的。如果希望了解更詳盡的內容,可以參考TCP規(guī)范,或關于該方面的其他著作(例如TCP/IP詳解)。
圖1是一個Socket實例所關聯(lián)的一些信息的簡化視圖。JVM或其運行的平臺(即,主機操作系統(tǒng)中的“套接字層”)為這些類的支持提供了底層實現(xiàn)。Java對象上的操作則轉換成了這種底層抽象上的操作。在這里,“Socket”指的是圖1中的類之一,而“套接字(socket)”指的是底層抽象,這種抽象是有操作系統(tǒng)提供或由JVM自己實現(xiàn)(例如在嵌入式系統(tǒng)中)。有一點需要注意,即運行在統(tǒng)一主機上的其他程序可能也會通過底層套接字抽象來使用網(wǎng)絡,因此會與Java Socket實例競爭系統(tǒng)資源,如端口等。

socket
socket

圖1
在此,“套接字結構”是指底層實現(xiàn)(包括JVM和TCP/IP,但通常是后者)的數(shù)據(jù)結構集,這些數(shù)據(jù)結構包括了特定Socket實例所關聯(lián)的信息。例如,套接字結構除其他信息外還包括:
l 該套接字說關聯(lián)的本地和遠程互聯(lián)網(wǎng)地址和端口號。本地互聯(lián)網(wǎng)地址(圖中標記為“Local IP”)是賦值給本地主機的;本地端口號在Socket實例創(chuàng)建時設置的。遠程地址和端口號標記了與本地套接字連接的遠程套接字(如果沒有連接的話)。不久,我們將對這些值確定的時間和方式做進一步介紹。
l 一個FIFO(先進先出,F(xiàn)irst In First Out)隊列用于存放接收到的等待分配的數(shù)據(jù),以及一個用于存放等待傳輸?shù)臄?shù)據(jù)的隊列。
l 對于TCP套接字,還包括了與打開和關閉TCP握手相關的額外協(xié)議狀態(tài)信息。圖1中,狀態(tài)是“關閉”;所有套接字的起始狀態(tài)都是關閉的。
一些多用途操作系統(tǒng)為用戶提供了獲取底層數(shù)據(jù)結構“快照”的工具,netstat是其中之一,太在UNIX(Linux)和Windows平臺上都可用。只要給定適當?shù)倪x項,netstat就能顯示和圖1的那些信息:SendQ和RecvQ中的字節(jié)數(shù),本地和遠程IP地址和端口號,以及連接狀態(tài)等。netstat的命令行選項有多種,但它輸出看起來是這樣的:
Active Internet connections(server and established)
Proto Recv-Q Send-Q Local Address Foreign Address State
tcp 0 0 0.0.0.0:36045 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:53363 0.0.0.0:* LISTEN
tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN
tcp 0 0 128.133.190.219:34077 4.71.104.187:80 TIME_WAIT
tcp 0 0 128.133.190.219:43346 79.62.132.8:22 ESTABLISHED
tcp 0 0 128.133.190.219:875 128.133.190.43:2409 ESTABLISHED
tcp6 0 0 :::22 :::* LISTEN
前4行和最后一行描述了正在偵聽連接的服務器套接字。第5行代表了到一個Web服務器(80端口)的連接,該服務器已經單方面關閉。倒數(shù)第2行是先有的TCP連接。如果系統(tǒng)支持的話,你可能想要嘗試一下netstat,來檢測下上文描述的場景的連接狀態(tài)。然而要知道,這些圖中描述的狀態(tài)轉換過程轉瞬即逝,可能很難通過netstat提供的“快照”功能將其捕獲。
了解這些數(shù)據(jù)結構,以及底層協(xié)議如何對其進行影響是非常有用的,因為它們控制了各種Socket對象行為的各個方面。例如,由于TCP提供了一種可信賴的字節(jié)流服務,任何寫入Socket的OutputStream的數(shù)據(jù)副本都必須保留,直到其在連接的另一端被成功接收。向輸出流寫數(shù)據(jù)并不意味著數(shù)據(jù)實際上已經被發(fā)送,他們只是被復制到了本地緩沖區(qū)。就算在Socket的OutputStream上進行flush操作,也不能保證數(shù)據(jù)能夠立即發(fā)送到信道。此外,字節(jié)流服務的自身屬性決定了其無法保留輸入流中消息的邊界信息,這里的邊界信息的意思就是上一個數(shù)據(jù)包和下一個數(shù)據(jù)包之間的區(qū)別信息。這使一些協(xié)議的接收和解析過程變得復雜。另一方面,對于DatagramSocket,數(shù)據(jù)包并沒有為重傳而進行緩存,任何時候調用send()方法返回后,數(shù)據(jù)就已經發(fā)送給了執(zhí)行傳輸任務的網(wǎng)絡子系統(tǒng)。如果網(wǎng)絡子系統(tǒng)由于某種原因無法處理這些消息,該數(shù)據(jù)包將毫無提示地被丟棄(不過這種情況很少發(fā)生)。
1、緩沖區(qū)和TCP
作為程序員,在使用TCP套接字時需要記住的最重要一點是:
不能假設在連接的一端將數(shù)據(jù)寫入輸出流和在另一端從輸入流讀取數(shù)據(jù)之間有任何一致性。
尤其是在發(fā)送端由單個輸出流的write()方法傳輸?shù)臄?shù)據(jù),可能會通過另一端的多個輸入流的read()方法來獲取;而一個read()方法可能會返回多個write()方法傳輸?shù)臄?shù)據(jù)。
為了展示這種情況,考慮如下程序:
byte[] buf0 = new byte[1000];
byte[] buf1 = new byte[2000];
byte[] buf2 = new byte[5000];

Socket s = new Socket(destAddr, destPort);
OutputStream out = s.getOutputStream();

out.write(buf0);

out.write(buf1);

out.write(buf2);

s.close();
其中,圓點代表了設置緩沖區(qū)數(shù)據(jù)的代碼,但不包括對out.write()方法的調用。在本節(jié)的討論中,“in”代表接收端Socket的InputStream,“out”代表發(fā)送端Socket的OutputStream。
這個TCP連接想接收端傳輸8000字節(jié)。在連接的接收端,這8000字節(jié)的分組方式取決于連接兩端out.write()方法和in.read()方法的調用時間差,以及提供給in.read()方法的緩沖區(qū)大小。
我們可以認為TCP連接上發(fā)送的所有字節(jié)序列在某一瞬間被分成了3個FIFO隊列;
l SendQ:在發(fā)送端底層實現(xiàn)中緩存的字節(jié),這些字節(jié)已經寫入了輸出流,但還沒在接收端主機上成功接收。
l RecvQ:在接收端底層實現(xiàn)中緩存的字節(jié),等待分配到接收程序,即從輸入流中讀取。
l Delivered:接收者從輸入流已經讀取到的字節(jié)。
調用out.write()方法將向SendQ追加字節(jié)。TCP協(xié)議負責將字節(jié)按順序從SendQ移動到RecvQ。有重要的一點需要明確,這個轉移過程無法由用戶程序控制或直接觀察到,并且在塊中(chunk)發(fā)生,這些塊的大小在一定程度上獨立于傳遞給write()方法的緩沖區(qū)大小。
接收程序從Socket的InputStream讀取數(shù)據(jù)時,字節(jié)就從RecvQ移動到Delivered中,而轉移的塊的大小依賴于RecvQ中的數(shù)據(jù)量和傳遞給read()方法緩沖區(qū)大小。
圖2展示了上例中3次調用out.write()方法后,另一端調用in.read()方法前,以上3個隊列的可能狀態(tài)。不同的陰影效果分別代表了上文中3次調用write()方法傳輸?shù)牟煌瑪?shù)據(jù)。
圖2描述的發(fā)送端主機的netstat輸出的瞬間狀態(tài)中,會包含類似于下一行的內容:

在接收端主機,netstat會顯示:

圖1
圖1

圖2 3次調用write()方法后3個隊列的狀態(tài)
現(xiàn)在假設接收者調用read()方法時使用的緩沖區(qū)數(shù)組大小為2000字節(jié),read()調用則將把等待分配隊列(RecvQ)中的1500字節(jié)全部移動到數(shù)組中,返回值為1500。注意,這些數(shù)據(jù)包括了第一次和第二次調用write()方法時傳輸?shù)淖止?jié)。在過一段時間,但TCP連接傳完更多數(shù)據(jù)后,這三部分的狀態(tài)可能如圖3所示。


圖3
圖3

圖3 第一次調用read()方法后
如果接收者現(xiàn)在調用read()方法時使用4000字節(jié)的緩沖區(qū)數(shù)組,將有很多字節(jié)從等待分配隊列(RecvQ)轉移到已分配隊列(Delivered)中。這包括第二次調用write()方法時剩下的1500字節(jié)加上第三次調用write()的前2500字節(jié)。此時隊列的狀態(tài)如圖4所示。


圖4
圖4

圖4 另一次調用read()后
下次調用read()方法返回的字節(jié)數(shù),取決于緩沖區(qū)數(shù)組的大小,以及發(fā)送方套接字/TCP實現(xiàn)通過網(wǎng)絡向接收方實現(xiàn)傳輸數(shù)據(jù)的時機。數(shù)據(jù)從SendQ到RecvQ緩沖區(qū)的移動過程對應用程序協(xié)議的設計有重要的指導性。我們已經遇到過需要對使用帶內(in-band)分隔符,并通過Socket來接收的消息進行解析的情況。
最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 227,250評論 6 530
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 97,923評論 3 413
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 175,041評論 0 373
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,475評論 1 308
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,253評論 6 405
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 54,801評論 1 321
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 42,882評論 3 440
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,023評論 0 285
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經...
    沈念sama閱讀 48,530評論 1 331
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,494評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 42,639評論 1 366
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,177評論 5 355
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 43,890評論 3 345
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,289評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,552評論 1 281
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,242評論 3 389
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 47,626評論 2 370

推薦閱讀更多精彩內容

  • ———————————————回答好下面的足夠了---------------------------------...
    恒愛DE問候閱讀 1,736評論 0 4
  • 史上最全的iOS面試題及答案 iOS面試小貼士———————————————回答好下面的足夠了----------...
    Style_偉閱讀 2,370評論 0 35
  • iOS面試小貼士 ———————————————回答好下面的足夠了------------------------...
    不言不愛閱讀 1,995評論 0 7
  • __block和__weak修飾符的區(qū)別其實是挺明顯的:1.__block不管是ARC還是MRC模式下都可以使用,...
    LZM輪回閱讀 3,348評論 0 6
  • 多線程、特別是NSOperation 和 GCD 的內部原理。運行時機制的原理和運用場景。SDWebImage的原...
    LZM輪回閱讀 2,020評論 0 12