在同學的建議下我開始學習如何抓取一個網頁，獲取網頁上的信息。
?
https://book.douban.com/ [豆瓣讀書]
獲取書名
HTTPS和cheerio模塊實現
- 通過HTTPS模塊進行獲取整個HTML頁面
??//使用get方法發送請求
https.get(url,function (res) {
var html = '';
res.on('data',function (data) {
html +=data;
});
res.on('end',function () {
console.log(html);
});
}).on('error',function () {
console.log('爬取頁面錯誤');
});
- 分析所要獲取的信息
警察
父親的失樂園
可見所有的書籍的名稱都在class為title的div中，以及a標簽中
- 通過cheerio模塊進行對獲取到的html進行分析
??//封裝在crawleChapter函數中
function crawleChapter(html) {
var $ = cheerio.load(html);
var books = $('.title');//獲取class為title的div
var data = [];
books.map(function (node) {
var books = $(this);
var booksName = books.find('a').text().trim();//遍歷div,獲取a標簽的文本即書籍的書名信息
data.push(booksName);
});
console.log(data);
}
superagent模塊
可以使用superagent模塊來進行與服務器的交互
superagent.get(url)
.end(function (err, res) {
//請求成功之后進行的解析html文件
});
