點(diǎn)擊鏈接加入群【python技術(shù)交流】:https://jq.qq.com/?_wv=1027&k=44cX7Ag
快來(lái)加入群【python技術(shù)交流】(群號(hào)214030345),發(fā)現(xiàn)精彩內(nèi)容。
新手傻瓜教程,熟手請(qǐng)忽略。。。(windows折騰不止。。。)
1.安裝環(huán)境
windows 10
python 2.7
pycharm(強(qiáng)烈推薦,必選,不用的請(qǐng)忽略此文!)
下載頁(yè)面:https://www.jetbrains.com/pycharm/download/#section=windows
下載地址:https://download.jetbrains.com/python/pycharm-professional-2016.3.2.exe
2.安裝配置python虛擬環(huán)境及scrapy安裝
安裝python 2.7最新版
下載地址:https://www.python.org/downloads/windows/
推薦使用32位(64位偶爾會(huì)有第三方包兼容問(wèn)題):https://www.python.org/ftp/python/2.7.13/python-2.7.13.msi
安裝 Microsoft Visual C++ for Python 2.7
下載地址:https://www.microsoft.com/en-in/download/details.aspx?id=44266
使用pycharm新建一個(gè)純python項(xiàng)目test
配置view顯示工具欄
打開settings配置project interpreter中的虛擬環(huán)境
選擇create virtualenv(虛擬環(huán)境的好處是多個(gè)虛擬環(huán)境安裝不同版本的依賴互不干擾,好處很多,別特么廢話照做就行!),選擇文件夾專門存放各種虛擬環(huán)境,虛擬環(huán)境名稱自定義,但是千萬(wàn)別寫成scrapy這種,容易出現(xiàn)導(dǎo)入問(wèn)題。
將pip、setuptools、wheel升級(jí)至最新(選中點(diǎn)左邊的向上的箭頭。。。傻瓜教程。。。)
點(diǎn)加號(hào),選擇安裝scrapy會(huì)發(fā)現(xiàn)報(bào)錯(cuò),很多依賴無(wú)法自動(dòng)安裝成功
解決依賴問(wèn)題:
安裝OpenSSL
下載OpenSSL:https://pypi.python.org/pypi/pyOpenSSL#downloads
復(fù)制到項(xiàng)目目錄
執(zhí)行 pip install pyOpenSSL-16.2.0-py2.py3-none-any.whl
安裝lxml:
下載地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
http://www.lfd.uci.edu/~gohlke/pythonlibs/dn4ksi39/lxml-3.7.2-cp27-cp27m-win32.whl
復(fù)制到項(xiàng)目目錄,安裝 pip install lxml-3.7.2-cp27-cp27m-win32.whl
安裝Pywin32:
下載頁(yè)面:https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/
復(fù)制到項(xiàng)目目錄,安裝 easy_install pywin32-220.win32-py2.7.exe
安裝Twisted:
下載頁(yè)面:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
下載鏈接:http://www.lfd.uci.edu/~gohlke/pythonlibs/dn4ksi39/Twisted-16.6.0-cp27-cp27m-win32.whl
復(fù)制到目錄安裝:pip install Twisted-16.6.0-cp27-cp27m-win32.whl
最后重新安裝scrapy?
pip install scrapy
完活~~~
打包下載:http://pan.baidu.com/s/1kURbV9P
ps:安裝方式還可以參考 https://scraper24x7.wordpress.com/2016/03/19/how-to-install-scrapy-in-windows/
本教程幾乎未使用編譯安裝,基本都是用第三方編譯好的wheel包,編譯安裝不同環(huán)境還會(huì)有不同問(wèn)題,visual studio 2008/2013/2015等等。。。盡量安裝2015。。。還有使用MinGW的同學(xué)(心疼1w次),編譯出現(xiàn)各種問(wèn)題的就不要過(guò)來(lái)互噴了,本文就是給小白看的,您自己愛咋折騰都行。。。滾犢子。。。
能用Mac的就別來(lái)折騰win了,看了別人的傻瓜教程還配置不好環(huán)境的趕緊轉(zhuǎn)行!人生短暫,干點(diǎn)力所能及的活~~~