客戶端爬蟲平臺(dSpider)提供了Android/ios sdk, 同時支持顯式爬取和靜默爬取. dSpider是一個使用Javascrip語言的客戶端爬取平臺,由sdk、Pc工具(即將發(fā)布)、以及云管理平臺三部分組成。詳情:https://dspider.dtworkroom.com/document

客戶端需求的場景及簡介
如果你還不知道客戶端爬取是什么,能干什么,下面文章你需要先了解一下:
爬蟲技術(三)-客戶端爬取Android SDK發(fā)布
IOS集成文檔
官方幫助文檔:https://dspider.dtworkroom.com/document/ios
demo: https://github.com/wendux/DSpiderDemo-ios (歡迎star)
附:DSpider的9大特點
- 突破ip限制,IP限制對DSpider徹底無效
- 客戶端用戶授權時可手動登錄,繞過驗證碼問題,使用戶體驗更友好。
- 可以抓取動態(tài)生成的網(wǎng)頁。
- 腳本使用javascript語言,對于前端程序員0門檻。
- 爬取腳本非常容易寫,代碼量極少,你可以使用任何前端的js庫,同時dSpider內(nèi)置jQuery,讓解析網(wǎng)頁非常容易。
- 測試支持;支持本地調(diào)試,同時提供pc端測試工具。
- 強大的云管理平臺;實時監(jiān)視應用爬取狀態(tài)、動態(tài)更新腳本、錯誤分析、配置下發(fā)等眾多功能。
- 支持ios/android,支持靜默爬取。
- 腳本商店;完整的生態(tài)系統(tǒng)和用戶群,用戶可以發(fā)布腳本到腳本商店,其它用戶可以自由添加。用戶無需自己寫代碼。
dspider官網(wǎng):https://dspider.dtworkroom.com/document/introduction