此學習筆記整理于 Ryan Mitchell Web Scraping with Python- Collecting Data from the Modern Web (2015) Chapter Storing data
一，urlretrieve
urlretrieve 是urllib.request里面的一個函數，知道了文件在html結構里面的位置就可以取回文件了。例子中，位置是imageLocation 那一句。urlretrieve（位置，‘另存為的文件名稱’）。作者又給了一個復雜的例子，取出所有的某類文件。但是作者技術高超，用了函數。感覺不是那么容易理解。于是我照著邏輯又寫了一個沒有函數的，邏輯很清晰。寫完了之后發現，作者的也很清晰，看來還是得自己寫一寫，才能理解好代碼的邏輯。
我們從for 開始看，downloadList 是我找的所有的img tag。整個的if 一直到第25行都是為了獲取圖片的網址，前邊的替換就是為了讓他們的形式一致。因為可能有些事http://開頭，有些是www.開頭。24,25行是為了篩選：只篩選出網頁內部鏈接圖片。
26-30，給出存儲電腦的位置。我們需要在代碼最開始引進 import 一個新的庫。os 這個os，是Python能夠和operation system對話的一個庫。
32以后其實算是創建這些電腦路徑吧，如果這個文件（包括路徑）不存在就創建一個。
第35句代碼，忘了截上去。urlretrieve(url,path)，你知道需要縮進多少嗎？（Python的語法比較簡單，沒有vba類似的end if, next 等，它的語法判斷有一部分是根據縮進量來判斷層次的）
二，存儲為CSV文件
新引進了一個庫，csv
注意第八行！為什么要加一個【0】，是因為，findAll返回的是一個列表，而列表不能繼續向下find了。
注意第11行！為什么加一個newline和為什么加一個encoding
為什么要有一個newline=‘’，因為不寫的話，會。。。下面網頁打開就知道了哦。
http://codepub.cn/2015/10/08/Using-the-Python-CSV-module-to-read-and-write-CSV-file/
encoding 為了防止出現編碼錯誤，utf-8 支持所有的編碼類型。
注意16行，這樣也是為了從列表取出單獨的東西來分析。而不是列表類型的數據。
注意15和17行，為什么要加一個列表來作過度，要不然就是一個字母一個表格存儲的。
不寫的話，會隔行產生空行。
三，關于元組 tuple(), 列表list[]，集合set{}，字典{:,:}
這一個，我也分不大清楚。也沒想著分多大清楚，肯定對我學習造成了一定的障礙。但我覺得，當我需要分清楚的時候再來看看用到的分別在哪里再來記住。所以我主要看下面這個網站：
http://rmingwang.com/python-tuple-list-dict-set.html
還有關于Python的基礎知識，隨便找個公開課看下就好了，這些東西主要看自己。所以不要沉迷在搜索，下載，再搜索，下載的loop里面無法自拔！（對，我就是一直在這個loop里面）
四， mysql來存儲
作者首先簡單介紹了mysql的語言，在這里我就不多說了，因為我也不精通，只是學過sas里面的sql。
還是解釋上面的代碼：
conn是先連接上mysql，這句代碼僅適用于windows平臺，passwd應該是你的mysql的密碼。
cur=conn.cur 這里我們相當于在一個數據庫里選擇了一個服務員，我們通過Ta來進行數據的操作。
第十行，use scraping，這是一個數據庫scraping。首先你得有一個數據庫。關于如何建立一個數據庫，請移步百度或者google。
然后是兩個函數，
一個是把鏈接內的title和content存儲到scraping這個數據庫。15行，我也看不大懂，先記下了。%s 作者用的是“\%s”，這兩種表示都可以，我也不清楚，可能跟formating string 有關。16行，是確認訂單的意思。告訴這個服務員就這些了。不告訴ta，做的修改無法保存到數據庫。
另外一個是獲取用以存儲的數據并返回這個link里面的其他link以備循環。
try and finally，作者說了，爬蟲一般都來加一個好了。finally 是用來結束while 這個loop的時候用的。告訴服務員自己要走了，然后斷開連接。
作者當然很好心地告訴了我們一些tricks。第一：primary key選擇id 自動增加。二，建立索引。三，把大的數據庫拆分成小的。（爬取過程中的重復數據，可以用這個方法，每一種屬性來一個小數據庫，然后再加一個重復次數的數據庫，大大減少了重復數據的存儲量。
P.S.：沒能上車的小伙伴歡迎留言，如果我會我直接回答你！如果不會，我谷歌后回答你！如果要加我微信，不行。
