網絡爬蟲，是一個自動提取網頁的程序，它為搜索引擎從萬維網上下載網頁，是搜索引擎的重要組成。但是當網絡爬蟲被濫用后，互聯網上就出現太多同質的東西，原創得不到保護。于是，很多網站開始反網絡爬蟲,想方設法保護自己的內容。 ------摘自百度百科
本文以有道翻譯為例作為講解，使用的 python 3.5.2 版本 ，涉及到反爬蟲手段有 sign簽名、時間戳，逆向解析 js 來確定簽名算法。
有道翻譯分析
http://fanyi.youdao.com/ (感謝有道！)
1、抓包分析
觀察后發現有道是在輸入關鍵字翻譯后通過發起ajax請求來獲得json數據，翻譯結果在json響應中。
首先打開有道翻譯的網址和瀏覽器的開發者工具(這里使用chrome)，把之前加載的包清空，然后有道網頁來獲取包。
-
查看后可以看到剛開始 ajax 請求為空，同時加載了一堆js文件。
開發者工具抓包 -
輸入一個需要翻譯的詞，如：china ，點擊翻譯，再用開發者工具查看，出現一個ajax請求，從 response 分析就是得到了翻譯結果的json數據
ajax請求 -
這時需要分析ajax 請求包，查看請求的信息，發現這是一個post請求，可以看到post的表單數據和url，多查詢幾次可以發現表單數據中只有 salt 和 sign 兩個字段是變化的，所以我們要找到這兩個字段是構建的算法，從經驗來看 salt 字段很像一個時間戳的變換，這需要進一步驗證。
分析請求 -
接下來到所有的 js 文件中查找 ajax 請求的源碼以及構建 form data 的算法。最后查到 是在 fanyi.js 文件中進行的請求。
查找發送ajax的js -
把 fanyi.js 文件源碼復制到編輯器中，使用格式化插件格式化一下，得到便于我們查看的格式源碼，這樣更便于分析。于是找到了以下的內容，有了這些源碼就可以分析了，salt 的確是時間戳，后面加了隨機數，sign 是幾個數相加后進行 md5 加密得到的：
分析js源碼
2、構建數據，發起請求
有了以上的數據，我們就可以開始構建請求了，做一個使用有道翻譯這個 api 進行翻譯的小程序，這里有一個要注意的地方，請求中獲取的url 需要去除 “_o” ：
http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&sessionFrom=
代碼如下：
import random
import requests
import time
import hashlib
import json
class YouDaoTrans(object):
def __init__(self, keyword):
self.url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&sessionFrom='
self.headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36'
}
self.keyword = keyword
self.form_data = {
"i": keyword,
"from": "AUTO",
"to": "AUTO",
"smartresult": "dict",
"client": "fanyideskweb",
"salt": self.get_salt(),
"sign": "",
"doctype": "json",
"version": "2.1",
"keyfrom": "fanyi.web",
"action": "FY_BY_CLICKBUTTION",
"typoResult": "false"
}
# js的代碼： f = "" + ((new Date).getTime() + parseInt(10 * Math.random(), 10)),
# 通過13位的時間戳加上一個隨機的個位數
# python 中的時間戳是 10位加小數點，可以乘以 1000 取整
def get_salt(self):
# 獲取時間戳
timestamp = time.time()
# 生成salt
salt = int(timestamp*1000) + int(random.random()*10)
return salt
# var g = n.md5(u + d + f + c);
# sign 通多幾個數相加然后進行 md5 加密
def get_sign(self):
u = self.form_data['client']
d = self.form_data['i']
f = self.form_data['salt']
c = "rY0D^0'nM0}g5Mm1z%1G4"
str_data = u + str(d) + str(f) + c
# md5加密
m = hashlib.md5()
m.update(str_data.encode('utf-8'))
sign = m.hexdigest()
return sign
# 翻譯過程
def translate(self):
response = requests.post(self.url, data=self.form_data, headers=self.headers)
dict_result = json.loads(response.content)
print(dict_result['translateResult'][0][0]['tgt'])
# 開始運行
def start(self):
self.form_data['sign'] = self.get_sign()
self.translate()
if __name__ == '__main__':
while True:
keyword = input('請輸入要翻譯的內容, 輸入 need-quit 退出:')
if keyword == 'need-quit':
break
youdao = YouDaoTrans(keyword)
youdao.start()
個人博客：python爬蟲-有道翻譯(js分析)
