協(xié)程

協(xié)程是一種用戶(hù)輕量級(jí)線程。協(xié)程擁有自己的寄存器上下文和棧,協(xié)程調(diào)度切換時(shí)寄存器上下文和棧保存到其它地方,在切回來(lái)的時(shí)候恢復(fù)先前保存的寄存器上下文和棧,因此協(xié)程能保留上一次調(diào)用時(shí)的狀態(tài),每次過(guò)程重入時(shí)進(jìn)入上一次離開(kāi)時(shí)所處邏輯流的位置。協(xié)程的好處:
1、無(wú)需線程上下文切換的開(kāi)銷(xiāo)
2、無(wú)需原子操作鎖定及同步的開(kāi)銷(xiāo)
3、方便切換控制流,簡(jiǎn)化編程模型
4、高并發(fā)+高擴(kuò)展+低成本:一個(gè)cpu支持上萬(wàn)的協(xié)程都不是問(wèn)題,適合高并發(fā)處理
缺點(diǎn):
1、無(wú)法利用多核資源,協(xié)程的本質(zhì)是個(gè)單線程,它不能同時(shí)將單個(gè)cpu的多個(gè)核用上,協(xié)程需要和進(jìn)程配合才能在多cpu上運(yùn)行
2、進(jìn)行阻塞(blocking)操作(如IO)時(shí)會(huì)阻塞掉整個(gè)程序

greenlet模塊:

from greenlet import greenlet
def test1():
    print('test1-1')
    gr2.switch()
    print('test1-2')
    gr2.switch()

def test2():
    print('test2-1')
    gr1.switch()
    print('test2-2')
gr1 = greenlet(test1) #啟動(dòng)一個(gè)協(xié)程
gr2 = greenlet(test2)
gr1.switch()
test1-1
test2-1
test1-2
test2-2

greenlet是手動(dòng)切換線程上下文。greenlet(test1)啟動(dòng)一個(gè)協(xié)程后,gr1.switch()切換到test1執(zhí)行,test1打印test1-1后切換到test2,test2打印test2-1后又切回test1,并記錄到了上一次執(zhí)行的位置,打印test1-2

gevent模塊:gevent模塊封裝了greenlet,實(shí)現(xiàn)自動(dòng)切換:

import gevent

def foo():
    print('in foo')
    gevent.sleep(2)#觸發(fā)切換
    print('in foo 2')

def bar():
    print('in bar 1')
    gevent.sleep(1)
    print('in bar 2')

def func3():
    print('in func3 1')
    gevent.sleep(0)
    print('in func3 2')

gevent.joinall(
    [
        gevent.spawn(foo), #啟動(dòng)一個(gè)協(xié)程
        gevent.spawn(bar),
        gevent.spawn(func3)
    ]
)
in foo
in bar 1
in func3 1
in func3 2
in foo 2
in bar 2

啟動(dòng)三個(gè)協(xié)程,打印in foo后執(zhí)行g(shù)event.sleep(2),此時(shí)會(huì)切換至打印in bar 1,此時(shí)又遇切換,執(zhí)行打印in func3 1和in func3 2,之后回到foo函數(shù)gevent.sleep(2)還未到達(dá)2秒,到達(dá)1秒后打印in bar 2,到達(dá)2秒后再打印in foo 2,總耗時(shí)2秒

協(xié)程爬蟲(chóng)簡(jiǎn)單例子:

from urllib import request
import gevent
from gevent import monkey
import time

# monkey.patch_all()#gevent檢測(cè)不到urllib的IO操作,所以不會(huì)進(jìn)行切換。monkey.patch_all()是給當(dāng)前程序所有IO操作單獨(dú)做上標(biāo)記

def fun(url):
    res = request.urlopen(url)
    data = res.read()
    f = open('url.html','wb')
    f.write(data)
    f.close()
    print("%d bytes recived from %s" % (len(data),url))


urls = [ 'https://github.com/',
        'https://zz.253.com/v5.html#/yun/index'
         ]
sync_all_time = time.time()
for url in urls:
    fun(url)
print('同步總耗時(shí):',time.time()-sync_all_time)

async_start_time = time.time()
gevent.joinall(
    [
        gevent.spawn(fun,'https://github.com/'),
        gevent.spawn(fun,'https://zz.253.com/v5.html#/yun/index'),
        # gevent.spawn(fun,'http://www.lxweimin.com/'),
    ]
)
print('異步總耗時(shí):',time.time()-async_start_time)
59864 bytes recived from https://github.com/
1175 bytes recived from https://zz.253.com/v5.html#/yun/index
同步總耗時(shí): 2.9010000228881836
59854 bytes recived from https://github.com/
1175 bytes recived from https://zz.253.com/v5.html#/yun/index
異步總耗時(shí): 7.056999921798706

gevent檢測(cè)不到urllib的IO操作,不會(huì)進(jìn)行切換,所以為串行。monkey.patch_all()是給當(dāng)前程序所有IO操作單獨(dú)做上標(biāo)記,如此才并行。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 228,197評(píng)論 6 531
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 98,415評(píng)論 3 415
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人,你說(shuō)我怎么就攤上這事。” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 176,104評(píng)論 0 373
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我,道長(zhǎng),這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 62,884評(píng)論 1 309
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 71,647評(píng)論 6 408
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 55,130評(píng)論 1 323
  • 那天,我揣著相機(jī)與錄音,去河邊找鬼。 笑死,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,208評(píng)論 3 441
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 42,366評(píng)論 0 288
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 48,887評(píng)論 1 334
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 40,737評(píng)論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 42,939評(píng)論 1 369
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,478評(píng)論 5 358
  • 正文 年R本政府宣布,位于F島的核電站,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 44,174評(píng)論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 34,586評(píng)論 0 26
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 35,827評(píng)論 1 283
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 51,608評(píng)論 3 390
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 47,914評(píng)論 2 372

推薦閱讀更多精彩內(nèi)容