1,requests庫
pip install requests
http://docs.python-requests.org/en/master/
2,Beautiful Soup庫
pip install beautifulsoup4
http://beautifulsoup.readthedocs.io/zh_CN/latest/
3,lxml庫
pip install lxml
4,phantomJs
PhantomJS是一個無界面的,可腳本編程的WebKit瀏覽器引擎。它原生支持多種web 標準:DOM 操作,CSS選擇器,JSON,Canvas 以及SVG。
http://phantomjs.org/quick-start.html
5,Selenium
selenium,是一個自動化測試工具。它支持各種瀏覽器,包括 Chrome,Safari,Firefox 等主流界面式瀏覽器,如果你在這些瀏覽器里面安裝一個 Selenium 的插件,那么便可以方便地實現Web界面的測試。換句話說叫 Selenium 支持這些瀏覽器驅動。
PhantomJS 用來渲染解析JS,Selenium 用來驅動以及與 Python 的對接,Python 進行后期的處理,完美的三劍客.
http://selenium-python.readthedocs.io/index.html
pip install selenium
6.pyquery
pip install pyquery
https://pythonhosted.org/pyquery/
pyquery 可讓你用 jQuery 的語法來對 xml 進行操作。