SEO(Search Engine Optimization)
當網站發布上線以后,我們希望通過適當的優化調整,讓它可以被搜索引擎更好地“理解”,在用戶使用搜索引擎搜索的時候,網站的內容可以更恰當地暴露給用戶。
互聯網搜索引擎
組成部分
- 爬取(Crawling)
- 建立索引(Indexing)
- 返回結果(Serving Results)
PageRank
在 PageRank 以前,排序大多依靠對搜索關鍵字和目標頁的匹配度來進行,這種排序方式弊端非常明顯,尤其對于善于堆砌關鍵字“舞弊”的頁面,很容易就跳到了搜索結果的首頁。但是這樣的頁面對于用戶來說,價值非常小。
PageRank 算法的本質,就是利用網頁之間的關聯關系來確定網頁的影響力權重。而這個關聯關系,就是網頁之間的超鏈接,換言之,如果一個頁面被各種其它頁面引用,特別是被“重要”的網站和頁面引用,這就說明這個頁面的權重更高。
在實際搜索的時候,需要做到兩個因素的平衡:一個是 Reputation,也就是上面說的這個影響力,它并不會因為用戶單次搜索的關鍵字不同而改變;還有一個是 Proximity,也就是接近程度,這是根據用戶搜索的關鍵字的匹配程度來確定返回網頁的。
SEO 相關技術
白帽和黑帽
當我們明確了上述的目的,遵循搜索引擎規則,通過正當和高效的技術途徑來實現 SEO 的效果,這樣的方法叫做白帽(White Hat)法。相應的,如果是通過作弊、欺騙這樣的手段,就叫做黑帽(Black Hat)法。
搜索引擎在評估網站前文所述的影響力的時候,有許許多多不同的“Ranking Signal”,它指的就是會影響返回的網頁排序的“信號”,它們共同決定了一個頁面的影響力, 例子:
- 網站的正常運行時間。比方說,如果一個站點,在爬蟲爬取的時候總是遭遇 4xx、5xx 這樣的錯誤,顯然對影響力是一個負面的加權。
- 網站的年齡,網頁內容的新鮮程度,好的原創內容總是最好的優化方式。
- 網站采用 HTTPS 還是 HTTP,顯然 HTTPS 要更優。
- HTML 代碼的質量,是否存在錯誤。
- 網頁在站點訪問的深度。
黑帽法:
- 關鍵字堆砌
- 鏈接農場(Link Farm)
- Article Spinning
站內優化和站外優化
站內優化,其實指的就是在自己管理的網站內部做優化工作來實現 SEO。比如我們之前反復提到的關鍵字,
站外優化則和站內優化相反,優化工作是在目標站之外開展的,比如眾所周知的“友情鏈接”,就是一種提供外鏈的站外優化方式。
roberts.txt
“roberts.txt”是網站根目錄下直接能夠訪問到的文本文件,它是一個對于網絡爬蟲的規約,告訴它這個網站下哪些內容你是可以爬取的,哪些內容你是不能爬的。值得注意的是,roberts.txt 不是標準,也不是規范,而是一種“約定俗成”,幾乎所有的搜索引擎都會遵守它。
網站地圖
網站地圖則可以清晰直接地告訴搜索引擎網站內“重要”的頁面都有哪些(無論是否被鏈接指向),它們的更新習慣,包括最近一次是什么時候更新的,更新頻率是多少,以及對于整個網站來說,不同頁面的重要性比重是多少。
對于網站地圖,除了被動等待爬蟲的抓取,搜索引擎服務往往還提供另一種方式來報告網站地圖的變更,那就是允許網站管理員主動去提交變更信息,這種方式和爬蟲來爬取比較起來,類似于我們從第一章就開始講的 pull 和 push 的區別,這種方式對于網站管理員來說更麻煩,但是顯然可以更為及時地讓搜索引擎獲知并收錄最新數據。
統計分析
在進行 SEO 的改動調整之后,我們需要一些方式來跟蹤和評估效果。像 Google Analytics 和百度統計,就提供了這樣的功能。
擴展閱讀
- 文中介紹了幾個典型的 SEO 黑帽法,作為視野的拓展,你可以閱讀這篇文章了解更多的黑帽法。特別地,你也可以參閱這一詞條了解更多歷史上的 “Google 轟炸”事件。
- 如果對 Google Analytics 感興趣的話,那么官方有一些很好的學習材料;如果用的是百度統計,那么你也可以瀏覽一下官方的文檔。
- 對于 PageRank 算法,互聯網上其實有很多學習材料,比如維基百科的詞條,再比如科普作家盧昌海的文章——谷歌背后的數學。這個算法的來源,是 The Anatomy of a Large-Scale Hypertextual Web Search Engine 這篇 Sergey Brin 和 Lawrence Page 最早寫的關于 Google 搜索引擎原理的論文,當然,它并非這一講的學習周期內要求的閱讀材料,而僅供感興趣且有余力的你閱讀。
- 單頁應用(Single Page Application)的搜索引擎優化,專欄第三章已經介紹了 SPA 的優勢,但是 SPA 網站并不是一個擅長將喜怒哀樂表現出來的孩子,他對擅長察言觀色的搜索引擎頗不友好,因此要對 SPA 網站進行有效的 SEO,是需要一些特殊技巧的,推薦閱讀。