簡書遵循“簡單書寫”的原則，限制了我的一些想法，比如我想添加個背景音樂，又或者想添加個表情，或做個分類查詢等，此外我有一個放雜物的網站空間，放著浪費了，所以就打算建設自己的空間。

當然不是因為那個“飽醉豚”事件，在它越演越烈之前，我就看到那篇爭議的文章，順便看了他幾篇文章，我一笑置之，與一個嘩眾取寵、低智商低情商、毫無論據，甚至毫無文筆的生物有啥好計較的？只是沒想到關注的幾個人，鑒于簡書及簡書CEO的態度都紛紛清空簡書，嘆哉！不過也可以理解一下，一個簽約作者寫這樣的文章居然還能得到簡叔的支持：

· 飽醉豚：《我不罵程序員低素質，我只是去證明他們是低素質群體》
· 飽醉豚：《為什么有這么蠢的程序員？難道程序員真是低智商福利職業？》
· 飽醉豚：《為什么簡書的程序員用戶里有那么多mother fucker和戀尸癖？》
· 飽醉豚：《為什么中國的程序員巨嬰這么多》
· 飽醉豚：《為什么程序員是出軌率最高的群體》
· 飽醉豚：《笨到學不懂中學物理怎么辦？邏輯極差怎么辦？當程序員去！》
· 簡叔——簡書CEO：《飽醉豚對簡書的意義》

分析下簡書，還挺好爬取的，寫個簡單的爬蟲還是有挺多開發語言可選擇。本來我用C#也寫過一個簡單的爬蟲框架，只是用Mac后.Net的相關代碼基本全放在家里的舊電腦里了，便打算用比較順手的Go來寫，但是又有點嫌寫正則表達式麻煩，便搜索了下有沒有現成的拿來用，結果還真搜到志同道合的人??：node.js爬蟲-爬取簡書特定作者的所有文章

只是它沒有實現爬取【文集】和【專題】的功能。里面主要用到了node-crawler，也開放了爬取的源碼，因為node-crawler我沒用過，它還集成了Jquery來方便提取節點，我反倒想自己寫一下，于是重新寫了一份，包含爬取【文集】和【專題】，同時修改了存儲方式為本地文件和遠程服務兩種方式。

安裝node-crawler

直接按github上的文檔使用npm install crawler安裝，會不行的，提示以下警告：

image.png

mkdir jianshu-crawler

然后進入目錄并用命令行生成一個package.json文件，其中遇到交互詢問圖方便的話就一路按回車就行了：

cd jianshu-crawler && npm init

接著才是：

npm install crawler

最后新建一個index.js文件，寫入github示例，再執行node index.js即可看到打印結果：

var Crawler = require("crawler");
var c = new Crawler({
    maxConnections : 10,
    // This will be called for each crawled page
    callback : function (error, res, done) {
        if(error){
            console.log(error);
        }else{
            var $ = res.$;
            // $ is Cheerio by default
            console.log($("title").text());
        }
        done();
    }
});
c.queue('http://www.163.com');

node index.js

爬蟲原理及分析

所謂爬蟲，就是把網頁文檔內容下載下來分析提取有用信息，技術難點在于如何繞過網站的反爬策略，方法有如偽裝終端、代理IP等等，然后是如何有效提取信息。

關于頁面基本信息的提取思路上面鏈接文章已經給出，我就不重復了，主要說下怎么爬取【文集】和【專題】，這兩個內容不懂技巧的話，比頁面基本信息爬取難度大一些，就是下面的內容：

image.png

為啥說有難度呢？單純在Chrome上看是正常的：

image.png

然而當我們下載該頁面文檔內容時，實際是這樣的：“專題和文集”文字下面的div標簽之間為空，因為【文集】和【專題】是通過js異步加載的，在獲取到頁面文檔時它們還沒有加載出來。

文集和專題沒有加載出來

image.png

那行，既然我知道你數據是通過js異步加載來的，那我們嘗試讀取js返回來的數據，找到這個網絡請求：

網絡請求地址

網絡請求結果

網頁406錯誤

那嘗試設置下請求頭：Content-Type:application/json; charset=utf-8，居然在node-crawler的官方文檔找不到設置headers的內容，只好先用Go來寫測試代碼：

package main
import (
    "fmt" 
    "net/http" 
    "io/ioutil"
)

func httpRequest(url string) (content string, statusCode int) {
    req, _ := http.NewRequest("GET", url, nil)
    req.Header.Set("Accept", "application/json")
    client := http.DefaultClient
    resp, err := client.Do(req)
    if err != nil {
        fmt.Printf("Get請求%s返回錯誤:%s", url, err)
    }
    if resp.StatusCode == 200 {
        body := resp.Body   
        defer body.Close()
        bodyByte, _ := ioutil.ReadAll(body)
        content = string(bodyByte)
        fmt.Println(content)
    }
    statusCode = resp.StatusCode
    fmt.Println(resp.StatusCode)
    return
}

func main() {
    httpRequest("http://www.lxweimin.com/users/4ca93d60a9fe/collections_and_notebooks?slug=4ca93d60a9fe");
}

運行打印出來的數據是正確的：

image.png

方案一：

在node-crawler里調用go命令行運行，把命令行輸出內容保存：

var Crawler = require("crawler");
// var mysql   = require('./db-helper');
var fs = require('fs');
var exec = require('child_process').exec; 
/**
 * 執行命令行
 * @param {* } cmdStr 命令行
 * @param {* } callback 回調
 */
function execCmd(cmdStr, callback){
    //創建一個實例
    exec(cmdStr, function(err,stdout,stderr){
        callback(err,stdout,stderr);
    });
}
execCmd('go run crawler.go', function(err,stdout,stderr){
    //stdout為命令行打印輸出的內容
    var _savePath = '../src/assets/data';
    if (!fs.existsSync(_savePath)) {
        fs.mkdirSync(_savePath);
    }
    // 寫入數據, 文件不存在會自動創建
    fs.writeFile(_savePath + '/other.json', stdout, function (err) {
        if (err) throw err;
        console.log('寫入文集及專題信息完成');
    });
});

這樣已經是大功告成了！！！

方案二：

不過強迫癥還是不想捆綁一個Go，于是直接看node-crawler源碼，然后分析出可以這樣設置headers并調用：

/**
 * 支持添加頭部請求
 * @param {*} headers 請求頭
 * @param {*} url 請求路徑
 * @param {*} callback 回調
 */
function crawlerRuest(headers, url, callback){
    var c = new Crawler({
        jQuery: false,
        maxConnections : 10,
        headers: headers,
        // This will be called for each crawled page
        callback : function (error, res, done) {
            if(error){
                console.log(error);
            }else{
                //var $ = res.$;
               callback(res.body);
            }
            done();
        }
    });
    c.queue(url);
}

crawlerRuest({"Accept": "application/json"}, 
'http://www.lxweimin.com/users/4ca93d60a9fe/collections_and_notebooks?slug=4ca93d60a9fe',
function(stdout){
    if (!fs.existsSync(_baseSavePath)) {
        fs.mkdirSync(_baseSavePath);
    }
    // 寫入數據, 文件不存在會自動創建
    fs.writeFile(_baseSavePath + '/other.json', stdout, function (err) {
        if (err) throw err;
        console.log('寫入文集及專題信息完成');
    });
});

至此數據爬取告一段落。