stream pipe的原理及簡化源碼分析

前言

在編寫代碼時,我們應該有一些方法將程序像連接水管一樣連接起來 -- 當我們需要獲取一些數據時,可以去通過"擰"其他的部分來達到目的。這也應該是IO應有的方式。 -- Doug McIlroy. October 11, 1964

本質上來說,編碼就是對數據的讀取,處理最后返回結果,數據在一個程序又一個程序中不斷傳遞。理想情況下,數據的傳遞應該是不停滯的,但是現實情況中因為諸如單個數據過大,內存較小,IO處理較慢等客觀原因使數據不能流暢的流動起來。這時我們就需要一種方法去將數據拆分成一小塊一小塊的數據(chunks),流水一樣的讀取處理寫入。這種方法便是流(stream),nodejs中的流主要分為以下四種:

  • Readable(可讀流)
  • Writable(可寫流)
  • Duplex(可讀寫流)
  • Transform (變換流)

而所有的流都有一種公有方法,它會像管道一樣處理流的數據,這便是pipe,下面一張大神制作的圖很好的演示了這個過程:

Markdown

正文

pipe期望的使用方式

pipe函數需要將源頭src并將數據輸出到一個可寫的流dst中:

src.pipe(dst)

pipe將會返回dst,所以我們希望可以鏈式調用將多個流用管道連接起來:

a.pipe(b).pipe(c).pipe(d)

pipe的簡化源碼分析

為了實現以上期望的使用方式,我們將Nodejs源碼簡化一下看是怎樣實現的

stream.prototype.pipe = function(dest, options) {
  this.on('data', (chunk) => {
    if (dest.writable) {
      if (false === dest.write(chunk) && this.pause) {
        this.pause();
      }
    }
  });
  dest.on('drain', () => {
    this.resume();
  });
  dest.emit('pipe', this);
  
  return dest;
};

以上代碼主要做了4件事:

  • 可讀流監聽data事件
    1)首先判斷dest.Writable,當寫完時會賦值為false
    2)此時如果消費者消費速度慢,這時產生了一個現象,叫做背壓。背壓問題即是外部的生產者和消費者速度差造成的,此時我們需要暫停寫入.pause()
  • 可寫流監聽drain事件
    1)消費者完成消費,可以觸發drain事件,此時我們可以繼續向流中寫入數據。執行.resume()
  • 觸發pipe事件,通知有流寫入
  • 返回dest流,可以進行鏈式調用

小記

簡單的梳理了下stream pipe的原理和實現方式。在現實應用中諸如gulp,Browserify等工作流工具都使用了pipe。而stream更是應用廣泛,文件、http、打包壓縮甚至console等都是用流實現的。

參考資料
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 228,936評論 6 535
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 98,744評論 3 421
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 176,879評論 0 381
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,181評論 1 315
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,935評論 6 410
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,325評論 1 324
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,384評論 3 443
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,534評論 0 289
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,084評論 1 335
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,892評論 3 356
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,067評論 1 371
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,623評論 5 362
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,322評論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,735評論 0 27
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,990評論 1 289
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,800評論 3 395
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,084評論 2 375

推薦閱讀更多精彩內容

  • gulpjs是一個前端構建工具,與gruntjs相比,gulpjs無需寫一大堆繁雜的配置參數,API也非常簡單,學...
    井皮皮閱讀 1,319評論 0 10
  • stream 流是一個抽象接口,在 Node 里被不同的對象實現。例如 request to an HTTP se...
    明明三省閱讀 3,423評論 1 10
  • 為什么應該使用流 你可能看過這樣的代碼。 這段代碼中,服務器每收到一次請求,就會先把data.txt讀入到內存中,...
    饑人谷_xxxxx閱讀 10,831評論 1 12
  • http://www.lxweimin.com/p/81b032672223 為什么應該使用流 你可能看過這樣的代...
    流動碼文閱讀 267評論 0 1
  • 我低著頭小心追尋你的印記, 卻被濕潤的泥土殷勤挽留, 呼吸里牽引著清爽的靈動氣息, 惹人心悸。 云塊被割分得很工整...
    IMEJE閱讀 207評論 1 2