發簡信
IP屬地：四川
-
爬豆瓣豆列目的：把精彩豆列頻道里的每個豆列里的內容抓取出來。流程是抓取目錄頁精彩豆列頻道豆列的地址-對每個豆列所有頁數都抓取具體內容、網址、時間。這就很標...
-
驗證碼去除干擾線在邦購登陸時，選擇了人工檢驗驗證碼，這次用機器檢測試試。先說基本邏輯：載入圖像，轉灰度，二值化，連通域檢測，去除連通域小的，根據各連通域的范圍切...
-
ng deep learning 學習筆記先快速搭建一個神經網絡，看看訓練集效果，調整，看dev集的cv效果，調整，看test集效果，調整，最后看實際數據的效果，再調整。
-
爬今日頭條，各種失敗經驗，之后成功了最近研究了一下js加密，發現今日頭條比較適合練手，在頭條獲取數據的XHR中request參數有一項_signature參數，這個是就是經過js加...
-
scrapy 關于session
在requests用session登陸這篇講了怎么用同一個session控制cookies以達到登陸的需求，在scrapy里主要用的是FormR...
-
scrapy用proxy的零零總總
在scrapy框架及中間件中說到了中間件相關的數據流程，剛好在用proxy爬數據的時候會用到中間件的零零總總，這回可以一起說說了。我覺得寫中間件...
-
爬金融數據最喜歡的爬取的就是由前端數據，返回的json全是數據特別好弄，而且還可以根據需求構造網址，一次取回所需數據。這次爬的是東方財富網的股東人數，地址...
-
python -裝飾器
裝飾器之前要先說說函數名（）和函數名的區別 test()是返回函數值，所以是可以賦值給變量的。比如a=test()。test是調用函數，在scr...
-
scrapy_redis分布式爬蟲
說到redis了，自然就要說到另一個爬蟲框架scrapy_redis，分布式爬蟲，scrapy與scrapy_redis最大的不同是schedu...