Python之Requests模塊使用詳解

Requests模塊是一個用于網絡訪問的模塊,其實類似的模塊有很多,比如urllib,urllib2,httplib,httplib2,他們基本都提供相似的功能,那為什么Requests模塊就能夠脫引而出呢?可以打開它的官網看一下,是一個“人類“用的http模塊。那么,它究竟怎樣的人性化呢?相信如果你之前用過urllib之類的模塊的話,對比下就會發現它確實很人性化。
一、導入

下載完成后,導入模塊很簡單,代碼如下:

import requests

二、請求url

這里我們列出最常見的發送get或者post請求的語法。
1.發送無參數的get請求:

 r=requests.get("http://pythontab.com/justTest")

現在,我們得到了一個響應對象r,我們可以利用這個對象得到我們想要的任何信息。
上面的例子中,get請求沒有任何參數,那如果請求需要參數怎么辦呢?

2.發送帶參數的get請求

payload = {'key1': 'value1', 'key2': 'value2'}

r = requests.get("http://pythontab.com/justTest", params=payload)

以上得知,我們的get參數是以params關鍵字參數傳遞的。
我們可以打印請求的具體url來看看到底對不對:

>>>print r.url
http://pythontab.com/justTest?key2=value2&key1=value1

可以看到確實訪問了正確的url。
還可以傳遞一個list給一個請求參數:

>>> payload = {'key1': 'value1', 'key2': ['value2', 'value3']}
>>> r = requests.get("http://pythontab.com/justTest", params=payload)
>>> print r.url
http://pythontab.com/justTest?key1=value1&key2=value2&key2=value3

以上就是get請求的基本形式。

3.發送post請求

r = requests.post("http://pythontab.com/postTest", data = {"key":"value"})

以上得知,post請求參數是以data關鍵字參數來傳遞的。
現在的data參數傳遞的是字典,我們也可以傳遞一個json格式的數據,如下:

>>> import json
>>> import requests
>>> payload = {"key":"value"}
>>> r = requests.post("http://pythontab.com/postTest", data = json.dumps(payload))

由于發送json格式數據太常見了,所以在Requests模塊的高版本中,又加入了json這個關鍵字參數,可以直接發送json數據給post請求而不用再使用json模塊了,見下:

>>> payload = {"key":"value"}
>>> r = requests.post("http://pythontab.com/postTest", json=payload)

如果我們想post一個文件怎么辦呢?這個時候就需要用到files參數了:

>>> url = 'http://pythontab.com/postTest'
>>> files = {'file': open('report.xls', 'rb')}
>>> r = requests.post(url, files=files)
>>> r.text

我們還可以在post文件時指定文件名等額外的信息:

>>> url = 'http://pythontab.com/postTest'
>>> files = {'file': ('report.xls', open('report.xls', 'rb'), 'application/vnd.ms-excel', {'Expires': '0'})}
>>> r = requests.post(url, files=files)

tips:強烈建議使用二進制模式打開文件,因為如果以文本文件格式打開時,可能會因為“Content-Length”這個header而出錯。

可以看到,使用Requests發送請求簡單吧!
三、獲取返回信息

下面我們來看下發送請求后如何獲取返回信息。我們繼續使用最上面的例子:

>>> import requests
>>> r=requests.get('http://pythontab.com/justTest')
>>> r.text

r.text是以什么編碼格式輸出的呢?

>>> r.encoding
'utf-8'

原來是以utf-8格式輸出的。那如果我想改一下r.text的輸出格式呢?

>>> r.encoding = 'ISO-8859-1'

這樣就把輸出格式改為“ISO-8859-1”了。
還有一個輸出語句,叫r.content,那么這個和r.text有什么區別呢?r.content返回的是字節流,如果我們請求一個圖片地址并且要保存圖片的話,就可以用到,這里舉個代碼片段如下:

def saveImage( imgUrl,imgName ="default.jpg" ):
    r = requests.get(imgUrl, stream=True)
    image = r.content
    destDir="D:\"
    print("保存圖片"+destDir+imgName+"\n")
    try:
        with open(destDir+imgName ,"wb") as jpg:
            jpg.write(image)     
            return
    except IOError:
        print("IO Error")
        return
    finally:
        jpg.close

剛才介紹的r.text返回的是字符串,那么,如果請求對應的響應是一個json,那我可不可以直接拿到json格式的數據呢?r.json()就是為這個準備的。
我們還可以拿到服務器返回的原始數據,使用r.raw.read()就可以了。不過,如果你確實要拿到原始返回數據的話,記得在請求時加上“stream=True”的選項,如:

r = requests.get('https://api.github.com/events', stream=True)。

我們也可以得到響應狀態碼:

>>> r = requests.get('http://pythontab.com/justTest')
>>> r.status_code
200

也可以用requests.codes.ok來指代200這個返回值:

>>> r.status_code == requests.codes.ok
True

四、關于headers

我們可以打印出響應頭:

>>> r= requests.get("http://pythontab.com/justTest")
>>> r.headers

`r.headers`返回的是一個字典,例如:

{
    'content-encoding': 'gzip',
    'transfer-encoding': 'chunked',
    'connection': 'close',
    'server': 'nginx/1.0.4',
    'x-runtime': '147ms',
    'etag': '"e1ca502697e5c9317743dc078f67693a"',
    'content-type': 'application/json'
}

我們可以使用如下方法來取得部分響應頭以做判斷:

r.headers['Content-Type']

或者

r.headers.get('Content-Type')

如果我們想獲得請求頭(也就是我們向服務器發送的頭信息)該怎么辦呢?可以使用r.request.headers直接獲得。
同時,我們在請求數據時也可以加上自定義的headers(通過headers關鍵字參數傳遞):

>>> headers = {'user-agent': 'myagent'}
>>> r= requests.get("http://pythontab.com/justTest",headers=headers)

五、關于Cookies

如果一個響應包含cookies的話,我們可以使用下面方法來得到它們:

>>> url = 'http://www.pythontab.com'
>>> r = requests.get(url)
>>> r.cookies['example_cookie_name']
'example_cookie_value'

我們也可以發送自己的cookie(使用cookies關鍵字參數):

>>> url = 'http://pythontab.com/cookies'
>>> cookies={'cookies_are':'working'}
>>> r = requests.get(url, cookies=cookies)

六、關于重定向

有時候我們在請求url時,服務器會自動把我們的請求重定向,比如github會把我們的http請求重定向為https請求。我們可以使用r.history來查看重定向:

>>> r = requests.get('http://pythontab.com/')
>>> r.url
'http://pythontab.com/'
>>> r.history
[]

從上面的例子中可以看到,我們使用http協議訪問,結果在r.url中,打印的卻是https協議。那如果我非要服務器使用http協議,也就是禁止服務器自動重定向,該怎么辦呢?使用allow_redirects 參數:

r = requests.get('http://pythontab.com', allow_redirects=False)

七、關于請求時間

我們可以使用timeout參數來設定url的請求超時時間(時間單位為秒):

requests.get('http://pythontab.com', timeout=1)

八、關于代理

我們也可以在程序中指定代理來進行http或https訪問(使用proxies關鍵字參數),如下:

proxies = {
  "http": "http://10.10.1.10:3128",
  "https": "http://10.10.1.10:1080",
}
requests.get("http://pythontab.com", proxies=proxies)

九、關于session

我們有時候會有這樣的情況,我們需要登錄某個網站,然后才能請求相關url,這時就可以用到session了,我們可以先使用網站的登錄api進行登錄,然后得到session,最后就可以用這個session來請求其他url了:

s=requests.Session()
login_data={'form_email':'youremail@example.com','form_password':'yourpassword'}
s.post("http://pythontab.com/testLogin",login_data)
r = s.get('http://pythontab.com/notification/')
print r.text

其中,form_email和form_password是豆瓣登錄框的相應元素的name值。

十、下載頁面

使用Requests模塊也可以下載網頁,代碼如下:

r=requests.get("http://www.pythontab.com")
with open("haha.html","wb") as html:
    html.write(r.content)
html.close()
最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 227,488評論 6 531
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 98,034評論 3 414
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 175,327評論 0 373
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,554評論 1 307
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,337評論 6 404
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 54,883評論 1 321
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 42,975評論 3 439
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,114評論 0 286
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 48,625評論 1 332
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,555評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 42,737評論 1 369
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,244評論 5 355
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 43,973評論 3 345
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,362評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,615評論 1 280
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,343評論 3 390
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 47,699評論 2 370

推薦閱讀更多精彩內容

  • Spring Cloud為開發人員提供了快速構建分布式系統中一些常見模式的工具(例如配置管理,服務發現,斷路器,智...
    卡卡羅2017閱讀 134,776評論 18 139
  • 聲明:本文講解的實戰內容,均僅用于學習交流,請勿用于任何商業用途! 一、前言 強烈建議:請在電腦的陪同下,閱讀本文...
    Bruce_Szh閱讀 12,743評論 6 28
  • 目錄: Python網絡爬蟲(一)- 入門基礎Python網絡爬蟲(二)- urllib爬蟲案例Python網絡爬...
    一只寫程序的猿閱讀 12,927評論 17 68
  • 家門口新開了一家飯店名為小酒館,也許是受歌曲成都的影響,每次路過都會多次回頭窺探里面到底什么樣子的。也許是天...
    水精靈亞男閱讀 896評論 0 3
  • 我從不相信有什么感同身受,無論我把悲傷或暢快說得多么生動。就像有人說過世界上只有兩件事最難:一件事是把別人的錢裝進...
    友盡之后呢閱讀 306評論 0 2