經(jīng)常把knn和kmeans搞混，knn是監(jiān)督學(xué)習(xí)，用于分類或回歸，kmeans是無(wú)監(jiān)督的聚類模型。
對(duì)于knn，這是一種lazy learning，先進(jìn)行存儲(chǔ)，在querying的時(shí)候才進(jìn)行預(yù)測(cè)。基本上，算是一種similarity function。knn基于鄰近的k個(gè)值，求得平均值或者weighted average，得到最后的輸出。所以選擇distance function或者說similarity function很重要。 如何取得k的值也是一個(gè)減小error的關(guān)鍵 。knn中所有的特征都是同等重要。
