猴子都能學會的20行代碼登錄微博
如何登錄新浪微博是令許多數據新手（包括我）頭疼的大問題。由于新浪的反爬蟲策略，網上的教程往往撐不過幾個月，查閱到的資料在半年前或是一年前——而它們早就無法使用了，在你想開始爬蟲的時候被活生生卡在了第一步。
簡單而言，我使用的方法是通過 Selenium 模擬瀏覽器的行為，直接在瀏覽器中輸入用戶名和密碼并登錄，然后直接從瀏覽器中獲取 Cookies。雖然聽起來十分簡單（實際上也十分簡單），但是確實是十分有效的方式。只要一個網站能通過瀏覽器登陸，我們就可以簡單改造這個程序來登錄并獲得想要的資料。
什么是Selenium？如何使用？
Selenium 是一個項目的名稱，都與瀏覽器和網頁測試相關。主要的工具也就是今天我們所要使用的，是WebDriver，是一個瀏覽器自動化工具。它為很多不同的語言提供了庫，包括 Python、Java、Ruby 等。本文中我選擇使用 Python 來進行操作，當然你也可以使用你熟悉的語言來進行操作。
在 Python中使用 Selenium 只需要通過pip安裝 Selenium 提供的 Python 庫。
pip3 install selenium # 如果你使用 Python 2 ，請使用 pip install selenium
僅僅安裝 Selenium 本身是不夠的，你同時還需要安裝 Driver 。你可以將 Driver 理解為瀏覽器本身的『驅動』，在程序中使用 Driver 就相當于你打開了一個瀏覽器做了些什么事情。
在這里我們推薦幾個 Driver ：
- Firefox: https://github.com/mozilla/geckodriver/releases
- Chrome: https://sites.google.com/a/chromium.org/chromedriver/downloads
- PhantomJS: http://phantomjs.org/download.html
（如果你是Windows用戶，這部分內容也需要參考：http://selenium-python.readthedocs.io/installation.html#detailed-instructions-for-windows-users）
下載后，我建議將可執行文件加入環境中，以備使用。
Firefox 和 Chrome 相信大家都比較熟悉。PhantomJS 是一個可以讓你無需瀏覽器就進行網頁相關操作的WebKit，它也沒有圖形界面。個人比較推薦在調試程序期間使用 Firefox 或是 Chrome ，這樣你可以通過觀察發現自己哪里出了錯。在調試完成后使用 PhantomJS ，來避免多余的可視化渲染。
創建一個 WebDriver
利用 Selenium 創建 WebDriver 十分簡單粗暴：
from selenium import webdriver
driver = webdriver.Firefox() # 如果 Firefox 所時使用的 geckodriver 在環境中
# driver = webdriver.PhantomJS() # 如果你想使用 PhantomJS
如果你需要自定義路徑，你可以通過傳入參數 executable_path：
driver = webdriver.Firefox(executable_path="/path/to/geckodriver")
如果你使用 Firefox 或 Chrome，你會看到這個操作打開一個瀏覽器。
觀察網頁本身
為了方便演示，我們使用新浪的移動版進行登錄。如果想決定如何操作一個網頁，首先我們要觀察網頁本身。
右鍵登錄的地方并審查元素，你會發現用戶名和密碼其實是簡單的輸入框，而登錄按鈕是一個鏈接而已。
因此我們簡單規劃之后要做的事情：
- 輸入用戶名和密碼
- 點擊登錄按鈕（或摁回車）
利用 Selenium 進行登錄操作
打開網頁
Selenium 提供了方法的get方法用以獲取網頁：
driver.get('https://passport.weibo.cn/signin/login')
如果你使用 Firefox 或 Chrome，你會看到這個操作打開微博手機版的登錄頁面。
定位元素
由網頁本身的結構我們發現，這兩個輸入框和登錄鏈接元素的id屬性都是頁面中獨一無二的，我們便可以利用這一特點尋找到元素本身。
name_field = driver.find_element_by_id('loginName') # 用戶名輸入框
password_field = driver.find_element_by_id('loginPassword') # 密碼輸入框
submit_button = driver.find_element_by_id('loginAction') # 登錄鍵
輸入內容
Selenium 提供了為元素輸入的方法 send_keys()，直接調用這一方法就可以把內容輸入到網頁中的輸入框內：
name_field.send_keys('你的用戶名')
password_field.send_keys('你的密碼')
如果你使用 Firefox 或 Chrome ，你會看到頁面中的兩個輸入框被填入你在程序中輸入的文字。
點擊按鈕的方法也很簡單，如果你已經獲取了元素，只要使用click()方法：
submit_button.click() # 單擊元素
如果你需要使用回車鍵，可以使用send_keys()來發送回車（Keys.RETURN），我在這里不展開描述。
如果你擔心兩個輸入框在你輸入前就已經有了其他內容而影響操作，你可以使用clear()方法，并且我在這里也更加推薦這樣的做法：
name_field.clear() # 清除用戶名區域
name_field.send_keys('你的用戶名')
password_field.clear() # 清除密碼區域
password_field.send_keys('你的密碼')
獲取 Cookies
從 WebDriver 獲取 Cookies 只需要一個操作 get_cookies()：
driver.get_cookies()
它是一個字典文件的列表，每一個字典文件是一個 Cookie。如果你們要在其他 WebDriver 或瀏覽器中使用這組 Cookies ，使用一個循環來給 WebDriver 利用add_cookie方法添加是比較標準的方法：
for cookie in driver.get_cookies():
another_driver.add_cookie(cookie)
等待網頁載入
如果你僅僅執行上述代碼，你會發現如果你的網速不夠快，或是電腦不夠好，就非常容易在元素出現前就進行操作，然后出現無法找到元素或是元素不可見等錯誤，我們可以通過等待一段時間來解決這個問題：
import time
# 在獲取網頁后
time.sleep(2) # 等待2秒
這種做法比較簡單，但也十分粗暴：因為你無法確定2秒時間足夠讓網頁加載完成。每次打開網頁的時間受限于許多因素，你可能很難用一個固定的時間來決定。而 Selenium 本身也提供了一些好用的方法：
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
# 在獲取網頁后
WebDriverWait(driver, 20).until(
EC.presence_of_element_located((By.ID, 'loginName')))
# 等待 id 為 loginName的元素出現，最多20秒
結語
如何登錄網站對于收集數據的人而言是個不大不小的問題。通過使用 Selenium，我們幾乎可以通過各種方法模擬瀏覽器的操作，而且這種方法是只要瀏覽器存在就可以使用的。我相信如何觀察網頁的結構以及利用是非常有用的技能。
完整代碼
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.PhantomJS()
driver.get('https://passport.weibo.cn/signin/login')
WebDriverWait(driver, 20).until(
EC.presence_of_element_located((By.ID, 'loginName')))
time.sleep(1)
name_field = driver.find_element_by_id('loginName')
name_field.clear()
name_field.send_keys('你的賬號')
password_field = driver.find_element_by_id('loginPassword')
password_field.clear()
password_field.send_keys('你的密碼')
submit_button = driver.find_element_by_id('loginAction')
submit_button.click()
print(driver.get_cookies())
