此文是根據《推薦系統實踐》部分整理而來。

PART 1

基于鄰域的算法是推薦系統中最基本的算法，主要分為兩大類：

• 基于用戶的協同過濾算法
• 基于物品的協同過濾算法

第一部分介紹基于用戶的協同過濾算法。在一個在線個性化推薦系統中，當一個用戶A需要個性化推薦時，可以先找到和他有相似興趣的其他用戶，然后把那些用戶喜歡的、而A沒有聽說過的物品推薦給A。
主要包括兩個步驟

1. 找到和目標用戶興趣相似的用戶集合（如果有標簽系統能夠就會提供很大的幫助）；
2. 找到這個集合中的用戶喜歡，且目標用戶沒有聽說過的物品推薦給目標用戶。

步驟1的關鍵就是計算兩個用戶的興趣相似度。這里，協同過濾算法主要利用行為的相似度計算興趣的相似度，給定用戶u和用戶v，令N(u)表示用戶u曾經有過正反饋的物品集合，令N(u)為用戶v曾經有過正反饋的物品集合。那么，我們可以通過如下的Jaccard公式簡單地計算u和v的興趣相似度：

Paste_Image.png

或者通過余弦相似度計算：

Paste_Image.png

舉個例子。用戶A對物品{a,b,d}有過行為，用戶B對物品{a,c}有過行為，利用余弦相似度公式計算用戶A和用戶B的興趣相似度為：

Paste_Image.png

如果對所有兩兩用戶都利用余弦相似度計算相似度，這種方法的的時間復雜度是O(U*U)，這在用戶數大的時候非常耗時。事實上，很多用戶相互之間并沒有對同樣的物品產生過行為，很多的時候|N(u)∩N(v)|=0。可以首先篩選出≠0的用戶對。

為此，可以首先建立物品到用戶的倒排表。對于每個物品都保存對該物品產生過行為的用戶列表。令稀疏矩陣C[u][v]=|N(u)∩N(v)|。那么，假設用戶u和v同時屬于倒排表中K個物品對應的用戶列表，就有C[u][v]=K。從而，可以掃描倒排表中每個物品對應的用戶列表，將用戶列表中的兩兩用戶對應的C[u][v]加1。例子展示如下：

Paste_Image.png

本人再提及一點，在對內容型產品不能直接使用以上算法，因為“物品”數量太多，在這里可以對內容打上標簽，由標簽來替代物品；同時，如果給用戶建立畫像，直接給用戶的興趣打上標簽，那么會更加容易。

得到用戶之間的興趣相似度后，UserCF算法會給用戶推薦和他興趣最相似的K個用戶喜歡的物品。如下的公式度量了UserCF算法中用戶u對物品i的感興趣程度：

Paste_Image.png

其中，S(u,K)包含和用戶u興趣最接近的K個用戶，N(i)是對物品i有過行為的用戶集合，wuv是用戶u和用戶v的興趣相似度，rvi代表用戶v對物品i的興趣，因為使用的是單一行為的隱反饋數據，所以所有的rvi=1。

根據上圖的用戶為例，選取K=3，用戶A對物品c、e沒有過行為，因此因此可以把這兩個物品推薦給用戶A。根據UserCF算法，用戶A對物品c、e的興趣是：

Paste_Image.png

下表的離線實驗來評測基礎算法的性能。UserCF只有一個重要的參數K，即為每個用戶選出K個和他興趣最相思的用戶，然后推薦那K個用戶感興趣的物品。因此離線實驗測量了不同K值下UserCF算法的性能指標：

Paste_Image.png

為了反映該數據集上離線算法的基本性能，下圖給出兩種基本推薦算法的性能。其中，Random算法每次都隨機挑選10個用戶沒有產生過行為的物品推薦給當前用戶，MostPopular算法則按照物品的流行度給用戶推薦他沒有產生過行為的物品中最熱門的10個物品。這兩個算法都是非個性化的推薦算法：

Paste_Image.png

可以看出，UserCF的準確率和召回率相對MostPopular算法提高了將近1倍。同時，UserCF的覆蓋率遠遠高于MostPopular，推薦結果相對MostPopular不太熱門。同時可以發現參數K是UserCF 的一個重要參數，它的調整對推薦算法的各種指標都會產生一定的影響：

• 準確率和召回率。可以看到，推薦系統的精度指標病不和參數K成線性關系。在MovieLens數據集中，選擇K=80左右會獲得比較高的準確率和召回率。
• 流行度。可以看到，在3個數據集上K越大UserCF推薦結果就越熱門。這是因為K決定了UserCF在給你做推薦時參考多少和你興趣相似的其他用戶的興趣，那么K越大，參考人越多，結果就越來越趨近于全局熱門的物品。
• 覆蓋率。可以看到，在3個數據集上K越大UserCF推薦結果的覆蓋率越低。覆蓋率降低是因為流行度的增加，對長尾物品的推薦越來越少，造成了覆蓋率的降低。

上一段中用余弦相似公式計算用戶興趣相似度比較粗略，這段主要介紹下公式的改進。當兩個用戶對冷門物品采取過同樣的行為，更能說明他們興趣的相似度。因此公式如下：（log1+N(i)什么意思？沒有底數）

Paste_Image.png

可以看到，該公式通過 1/log1+|N(i)| 懲罰了用戶u和v共同興趣列表中熱門物品對他們相似度的影響。這種算法作者記為：User-IIF 算法。

下圖展示了UserCF和UserCF-IIF的對比推薦性能，在這里選取K=80：

Paste_Image.png

如圖所示，User-IIF 在各方面略優于 User-CF，說明在計算用戶興趣相似度時考慮物品的流行度對提升推薦結果的質量確實有幫助。

本段介紹下實際使用UserCF 推薦算法的實例。最著名的使用者是Digg ，系統設計主要通過頂和踩。這種簡單的推薦算法的效果在Digg的微博中公布出來：

• 用戶反饋增加：頂和踩的行為增加了40%
• 平均你每個用戶將從34個具相似興趣的好友那獲得200條推薦結果
• 用戶和好友的交互活躍度增加了24%
• 用戶評論增加了11%
  雖然我個人不知道這個效果是因為產品設計，還是推薦算法造成的，但是對推薦系統還是抱有積極的態度的。

PART 2

第二部分介紹基于物品的協同過濾算法。這個算法是目前業界引用最多的算法。
基于物品的協同過濾算法給用戶推薦那些和他們之前喜歡的物品相似的物品。ItemCF算法并不利用物品的內容屬性計算物品直接的相似度，它主要通過分析用戶的行為記錄計算物品之間的相似度。該算法認為，物品A和物品B具有很大的相似度是因為喜歡物品A的用戶大都也喜歡B。算法主要分為兩步：

1. 計算物品之間的相似度；
2. 根據物品的相似度和用戶的歷史行為給用戶生成推薦列表。

定義物品的相似度可以用如下公式，其中 N(i) 是喜歡物品 i 的用戶數，如下公式表示了喜歡物品 i 的用戶中有多少的比例用戶也喜歡 j ：

Paste_Image.png

上面的公式存在一個問題，那么就是如果物品 j 很熱門，那么 Wij 就會很大，接近1，因此為了避免馬太效應，可以用下面的公式：

Paste_Image.png

這個公式懲罰了物品 j 的權重，因此減輕了熱門物品會和很多物品相似的可能性。
和之前的例子一樣，下圖中最左邊是輸入的用戶行為記錄，每一行代表一個用戶感興趣的物品集合。然后對于每個物品集合，我們將里面的物品兩兩加一，得到一個矩陣。最終將這些矩陣想家得到上面的 C 矩陣。其中 C[i][j] 記錄了同時喜歡物品 i 和物品 j 的用戶數。最后，將 C 矩陣歸一化可以得到物品之間的余弦相似度矩陣 W 。

Paste_Image.png

得到物品之間的相似度之后，ItemCF 通過如下公式計算用戶 u 對一個物品 j 的興趣。這里的 N(u) 表示用戶喜歡的物品的集合， S(j,k) 是和物品 j 最相似的 K 個物品的集合， Wij 是物品 j 和 i 的相似度，rui 是用戶 u 對物品 i 的興趣。（對于隱反饋數據集，如果用戶 u 對物品 i 有過行為，即可令 rui=1。）該公式的含義是，和用戶歷史上感興趣的物品越相似的物品，越有可能在用戶的推薦列表中獲得比較高的排名：

Paste_Image.png

舉一個簡單的例子。用戶喜歡《C++ Primer 中文版》和《編程之美》兩本書。然后ItemCF 會為這兩本書分別找出和它們最相似的 3 本書，然后根據公式的定義計算用戶對每本書的感興趣程度。

Paste_Image.png

下表列出了MovieLens數據集上 ItemCF 算法離線實驗的各項性能指標的評測結果：

Paste_Image.png

其中我們可以得出一些結論：

• 精度（準確率和召回率）。不和K成正相關或者負相關，選擇合適的K對獲得最高精度是非常重要的。
• 流行度。參數K對該算法的推薦結果流行度的影響也不是完全正相關的。
• 覆蓋率。K增加會降低系統的覆蓋率。

接下來需要進行算法的優化。有一個問題是，是不是每個用戶對于物品相似度的貢獻都是一樣的呢？假設有一個用戶買了大批書，但是他買這些書都不是出自自己的興趣，可能是代購之類；而另一個用戶雖然只買了十幾本書，但是領域相似，都是該用戶確實喜歡的書。

因此用戶活躍度對物品相似度也是有影響， John S.Breese 認為活躍用戶對物品相似度的貢獻小于不活躍的用戶，因此提出 IUF 參數，即用戶活躍度對數的倒數的參數。修正后的公式如下：

Paste_Image.png

作者將概述算法記為 ItemCF-IUF，在下表中用離線實驗評測這個算法，在這里參數K=10：

Paste_Image.png

如表所示，優化后的算法整體有所提升，明顯提升覆蓋率，降低流行度。

Karypis在研究中發現如果將ItemCF的相似度矩陣按最大值歸一化，可以提高推薦的準確率。其研究表明，如果已經得到了物品相似度矩陣w，那么可以用胡夏公式得到歸一化之后的相似度矩陣w'：

Paste_Image.png

歸一化是指，將不同的參考系變成統一的參考系，便于建立標量。假設物品分為兩類：A和B，A類之間的物品相似度為0.5，B類之間的為0.6，而A類和B類物品之間的相似度是0.2 。在這種情況下，如果一個用戶喜歡5個A類和5個B類物品，那么推薦的就都是B類物品，因為B類物品之間的相似度大，但是歸一化之后，A類物品之間的相似度變成了1，B類物品之間的相似度也是1，如果用戶同樣喜歡5個A類5個B類，推薦列表中的A類和B類物品的數目也應該是大致相等的。

一般熱門的類內物品的相似度一般比較大，如果不進行歸一化，就會推薦比較熱門的類里面的物品，而這些物品也是比較熱門的，這樣推薦的覆蓋率就會降低。

下圖對比了ItemCF算法和ItemCF-Norm算法的離線實驗性能：

Paste_Image.png

實驗結果可以看到，歸一化確實能提高ItemCF的性能，其中各項指標都有了明顯的提高。

PART 3

這部分綜合對比下UserCF和ItemCF。主要從幾個角度來說：

• 產品的類型
• 技術實現

從這兩個算法的推薦原理，來看，UserCF的推薦結果著重于反映和影虎興趣相似的小群體的熱點，而ItemCF的推薦結果著重于維系用戶的歷史興趣。換句話說，UserCF的推薦更社會化，反映了用戶所在的小型興趣群體中的熱門程度，而ItemCF的推薦更加個性化，反映了用戶自己的興趣傳承。所以選擇算法要考慮社會性和個性。

比如新聞類的產品，用戶興趣不是很細化，絕大多數用戶都喜歡看熱門的新聞，即使是個性化，也是比較粗粒度的。因此，個性化新聞推薦更加強調抓住新聞熱點，熱門程度和時效性是個性化新聞推薦的重點，而個性化則相對次要。因此，UserCF更加適合。

比如電商網站如亞馬遜，用戶的興趣比較固定和持久。一個技術人員可能都是在購買技術書，對書的熱門程度不敏感，甚至越來越傾向冷門的物品。因此，這些網站中個性化推薦的任務是幫助用戶發現和他研究領域相關的物品，用ItemCF算法較為合適。

從技術角度來考慮，UserCF需要維護一個用戶相似度的矩陣，而ItemCF需要維護一個物品相似度矩陣。如果用戶很多，那么需要維護用戶興趣相似度矩陣需要很大的空間；物品同理。不過如果結合標簽的話，可以有很大的優化空間。

下圖從不同角度比較了兩種算法：

Paste_Image.png

下面幾張圖用之前的離線實驗結果對比兩種算法：

Paste_Image.png

Paste_Image.png

Paste_Image.png

結果顯示，ItemCF算法在各項指標上不如UserCF，特別是覆蓋率和新穎度。

需要注意的是，離線實驗的性能在選擇推薦算法時不起決定性作用，首先應該滿足產品的需求，比如需要提供推薦解釋；其次，需要看實現代價，比如用戶太多就很難計算用戶相似度矩陣；最后，離線指標和點擊率等在線指標不一定成正比。

“對于稀疏數據集（例如delicious書簽，小眾群體收藏），基于物品的過濾方法通常要優于基于用戶的過濾方法，而對于密集數據集而言，兩者的效果幾乎是一樣的”--摘自《集體智慧編程》

最后補充一點，ItemCF算法的覆蓋率和新穎度都不高，是因為兩個不同領域的最熱門物品之間往往具有比較高的相似度，在這時候僅僅依靠用戶行為數據不能解決這個問題。比如說有一本書是最暢銷的書，那么無論什么用戶都會被推薦給這本書，消除馬太效應是ItemCF需要考慮的。