一、HTTP協(xié)議
HTTP（Hyper Text Transfer Protocol）意為超文本傳輸協(xié)議，它提供了一種發(fā)布和接收HTML網(wǎng)頁的方法，我們一般稱客戶端為用戶代理程序（user agent），應(yīng)答的服務(wù)器上存儲著一些資源，比如HTML文件和圖像，我們稱這個應(yīng)答服務(wù)器為源服務(wù)器。而HTTP就是一個客戶端終端（用戶）和服務(wù)器端（網(wǎng)站）請求和應(yīng)答（其實(shí)簡單看來就是瀏覽網(wǎng)頁的過程）的標(biāo)準(zhǔn)。
二、請求方法
在HTTP協(xié)議中，定義了八種方法來操作指定的資源（下面只會用到GET,POST）：
OPTIONS,HEAD,GET,POST,PUT,DELETE,TRACE,CONNECT。
簡單說明一下各個方法的功能：
OPTIONS：使服務(wù)器傳回該資源所支持的所有HTTP請求方法，可以測試服務(wù)器功能是否正常運(yùn)作。
HEAD：向服務(wù)器發(fā)出指定資源的請求，只不過服務(wù)器將不傳回資源的本文部分。
GET：向指定的資源發(fā)出“顯示”請求。
POST：向指定資源提交數(shù)據(jù)，請求服務(wù)器進(jìn)行處理（例如提交表單或者上傳文件）。
PUT：向指定的資源上傳最新內(nèi)容。
DELETE：請求服務(wù)器刪除所標(biāo)識的資源。
TRACE：顯示服務(wù)器收到的請求，用于測試。
CONNECT：通常用于SSL加密服務(wù)器的鏈接。
（以上參考維基百科）
通常我們?yōu)g覽網(wǎng)頁時，其實(shí)就是一個GET方法，從服務(wù)器端加載網(wǎng)頁進(jìn)來。
所以GET是其中最常用的一種方法。而在我們平常使用（比如爬蟲）時，幾乎都要用到這個方法。
三、安裝requests
>>>pip install requests
一、發(fā)送請求
首先導(dǎo)入requests庫
>>>import requests
導(dǎo)入后，你就可以直接發(fā)出請求了：
>>>r=requests.get('https://www.zhihu.com/')
這樣一來，你就得到了一個Response對象r，這個對象里已經(jīng)包含了你想要的網(wǎng)頁信息。
遇到某些需要登錄驗(yàn)證信息的網(wǎng)站，只用GET方法是得不到在瀏覽器上看到的網(wǎng)頁的，這時你得附帶headers和cookies：
>>>r=requests.get('https://www.zhihu.com/',headers={'key':'value'},cookies={'key':'value'})
其中headers和cookies參數(shù)是以字典的方式存儲的，它們的信息可以在瀏覽器里開發(fā)者工具中看到。一般headers用以偽裝成瀏覽器，而cookies是你存儲的表單密碼cookie。這兩者在請求網(wǎng)頁內(nèi)容中最常用，如果請求失敗時，可以檢查一下看看自己有沒有將headers和cookies考慮進(jìn)來。
二、傳遞參數(shù)進(jìn)URLs
在使用該方法前你需要了解網(wǎng)址的參數(shù)，網(wǎng)址中一般在后面加上？號，而問號后面帶的是一串參數(shù)，比如：
>>>paylod={'key1':'value1','key2':['value2','value3']}>>>r=requests.get('https://www.zhihu.com/get',params=payload)>>>print(r)https://www.zhihu.com/get?key1=value1&key2=value2&key2=value3
這種帶參數(shù)的網(wǎng)址，在一些有表格數(shù)據(jù)的網(wǎng)站非常常見。
三、響應(yīng)內(nèi)容
用上面獲取的Response對象的.text方法，可以得到網(wǎng)頁的內(nèi)容：
>>>r.textu'....................'
requests會自動為你編碼，你可以用.encoding方法查看編碼，或是更改編碼格式：
>>>r.encoding'utf-8'>>>r.encoding='ISO-8859-1'
除了.text方法外，還有其它響應(yīng)內(nèi)容的方法：
1.如果想獲得二進(jìn)制，可以用.content的方法：
>>>r.contentb'..................'
2.用.json()方法可以返回json內(nèi)容：
>>>r.json()b'{'xxx':'xxx'}'
3.在某些情況下你可能需要得到原始套接字回應(yīng)，此時你可以在原始的request請求中將stream參數(shù)設(shè)為True，然后再用.raw方法：
>>>r=requests.get('http://www.zhihu.com/get',stream=True)>>>r.raw
四、返回狀態(tài)碼
在發(fā)送請求后，我們可以通過以下方法檢查狀態(tài)碼：
>>>r.status_code200
requests還提供了一個簡單的參考方式：
r.status_code==requests.codes.okTrue
如果我們發(fā)送了一個錯誤的請求，可以用.raise_for_status()來引出一個錯誤：
>>>r.status_code404>>>r.raise_for_status()Traceback(mostrecentcalllast):File"requests/models.py",line832,inraise_for_statusraisehttp_errorrequests.exceptions.HTTPError:404ClientError
五、返回請求頭
我們可以點(diǎn)取屬性取得請求時的請求頭（Headers）：
>>>r.headers{'content-encoding':'gzip','transfer-encoding':'chunked','connection':'close','server':'nginx/1.0.4','x-runtime':'148ms','etag':'"e1ca502697e5c9317743dc078f67693f"','content-type':'application/json'}
所以我們可以直接訪問我們想要的內(nèi)容：
>>>r.headers['content-encoding']'gzip'
同理，你也可以通過這種方式訪問Cookies：
>>>r.cookies['example_cookie_name']'example_cookie_value'
六、重定向和歷史紀(jì)錄
在了解該功能前，你需要了解重定向的內(nèi)容，重定向指的是把你的網(wǎng)絡(luò)請求重新定個方向，讓它轉(zhuǎn)移到其它位置。為什么要重定向呢？因?yàn)楫?dāng)你的網(wǎng)絡(luò)結(jié)構(gòu)發(fā)生變化、更換網(wǎng)址和改變擴(kuò)展名（比如.php改成.html）時，如果不進(jìn)行重定向，用戶便會訪問到一個錯誤的網(wǎng)址，從而發(fā)生錯誤，使網(wǎng)站損失用戶。所以，在一些網(wǎng)站進(jìn)行重大改版時，在進(jìn)入網(wǎng)頁時你常常會發(fā)現(xiàn)出現(xiàn)跳轉(zhuǎn)的情況，其實(shí)就是重定向。
在requests中，可以用history方法來追蹤重定向。同時可以在請求時選擇開啟或關(guān)閉重定向（除了HEAD請求外，默認(rèn)都是開啟。）
>>>r=requests.get('http://github.com',allow_redirects=True)>>>r.history[]
七、超時設(shè)定
你可以傳入一個時限來限定requests最大訪問時間，當(dāng)無響應(yīng)時長超過這個時限時，就會發(fā)生錯誤：
>>r=requests.get('http://www.zhihu.com/',timeout=0.1)Traceback(mostrecentcalllast):File"",line1,inrequests.exceptions.Timeout:HTTPConnectionPool(host='github.com',port=80):Requesttimedout.(timeout=0.1)
寫在最后
本文翻譯于官方文檔（雖然寫完才發(fā)現(xiàn)有中文版。。），其中內(nèi)容經(jīng)過自己的一些理解所寫，對原有文檔進(jìn)行了適當(dāng)刪減，同時一些地方的知識做了點(diǎn)補(bǔ)充。
轉(zhuǎn)自知乎作者：林駿翔
鏈接：https://zhuanlan.zhihu.com/p/21976757
來源：知乎
