學(xué)習(xí)Python爬蟲的第一周，完成了爬取58同城個人二手列表頁中除轉(zhuǎn)轉(zhuǎn)和推廣商品之外的正常商品數(shù)據(jù)。
最終成果是這樣的：
week1.png
我的代碼：
from bs4 import BeautifulSoup
import requests
import time
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.86 Safari/537.36'
}
# 獲得從第幾頁到第幾頁的所有詳情頁信息
def get_more_page(start, end):
urls = ['http://bj.58.com/pbdn/0/pn{}/?PGTID=0d305a36-0000-13b2-d376-d5d8f54e0130&ClickID=2'.format(str(i)) for i in
range(start, end)]
for url in urls:
get_detail_urls(url)
time.sleep(2)
page_links = []
# 獲得每一頁的所有詳情頁信息(除推廣商品\轉(zhuǎn)轉(zhuǎn)商品之外)
def get_detail_urls(url):
wb_data = requests.get(url, headers=headers)
soup = BeautifulSoup(wb_data.text, 'lxml')
detail_urls = soup.select('td.t > a.t')
for url in detail_urls:
if 'zhuanzhuan' in url.get('href'):
pass
elif 'jump.zhineng' in url.get('href'):
pass
else:
page_links.append(url.get('href'))
for link in page_links:
get_detail(link)
# 獲得某個詳情頁的瀏覽數(shù)
def get_views(url):
id = url.split('/')[-1].strip('x.shtml')
api = 'http://jst1.58.com/counter?infoid={}'.format(id)
js = requests.get(api)
views = js.text.split('=')[-1]
return views
# 獲得某個詳情頁的信息(類目category,標(biāo)題title,發(fā)布時間release_time,價格price,成色state,區(qū)域area,瀏覽量views)
def get_detail(url):
wb_data = requests.get(url, headers=headers)
soup = BeautifulSoup(wb_data.text, 'lxml')
category = soup.select('div.breadCrumb.f12 > span:nth-of-type(3) > a')[0].text
title = soup.select('div.col_sub.mainTitle > h1')[0].text
release_time = soup.select('li.time')[0].text
price = soup.select('div.col_sub.sumary > ul > li:nth-of-type(1) > div.su_con > span')[0].text
state = soup.select('div.col_sub.sumary > ul > li:nth-of-type(2) > div.su_con > span')[0].text.strip()
if soup.find_all('span', 'c_25d'):
area = soup.select(' span.c_25d')[0].text.strip()
if '-' in area:
area = area.split('-')[0].strip() + '-' + area.split('-')[-1].strip()
else:
area = area
else:
area = None
data = {
'category': category,
'title': title,
'release_time': release_time,
'price': price,
'state': state,
'area': area,
'views': get_views(url)
}
print(data)
# 獲取1頁,除推廣商品和轉(zhuǎn)轉(zhuǎn)商品之外,所有商品詳情頁信息
get_more_page(1, 2)
總結(jié)：
- 了解了網(wǎng)頁的結(jié)構(gòu)，客戶端與服務(wù)器交互的機(jī)制。對于一個網(wǎng)頁來說，HTML描述了網(wǎng)頁的結(jié)構(gòu)，CSS描述了網(wǎng)頁的樣式，JavaScript描述了網(wǎng)頁的功能，而爬取網(wǎng)頁的要點是根據(jù)網(wǎng)頁結(jié)構(gòu)描述元素的位置。通過CSS Selector可以獲取元素的位置和屬性。
- 學(xué)習(xí)了requests和beautifulsoup庫的基本用法。通過requests的get方法獲取HTML，并用beautiful soup解析網(wǎng)頁，通過元素的唯一特征來獲得所需數(shù)據(jù)。
- 了解了異步加載的原理。對于異步加載的數(shù)據(jù)，用抓包工具分析出異步請求的URL，點擊刷新網(wǎng)頁，觀察哪個url返回的值包含瀏覽量，然后拼接URL解析數(shù)據(jù)。
- 請求時可以通過傳入headers，偽造cookies模擬已登錄狀態(tài),改變user-agent模擬移動端的數(shù)據(jù)，來防止被反爬。同時針對大量數(shù)據(jù)的爬取應(yīng)在每次請求之間加訪問延時以防止訪問頻率限制。
問題：
商品詳情頁中的瀏覽量，通過異步加載，如何判斷該屬性在哪個響應(yīng)資源文件中?
瀏覽量的問題：通過在header中添加Referer，Referer是header的一部分，當(dāng)瀏覽器向web服務(wù)器發(fā)送請求的時候，一般會帶上Referer，告訴服務(wù)器我是從哪個頁面鏈接過來的，服務(wù)器藉此可以獲得一些信息用于處理。這樣就可以反‘反盜鏈’了。
