K-近鄰演算法 - 工程師

在圖型識別領域中，最近鄰居法（KNN演算法，又譯K-近鄰演算法）是一種用於分類和迴
歸的無母數統計方法[1]。在這兩種情況下，輸入包含特徵空間（Feature Space）中的k
個最接近的訓練樣本。

在k-NN分類中，輸出是一個分類族群。一個物件的分類是由其鄰居的「多數表決」確定的
，k個最近鄰居（k為正整數，通常較小）中最常見的分類決定了賦予該物件的類別。若k
= 1，則該物件的類別直接由最近的一個節點賦予。
在k-NN迴歸中，輸出是該物件的屬性值。該值是其k個最近鄰居的值的平均值。
最近鄰居法採用向量空間模型來分類，概念為相同類別的案例，彼此的相似度高，而可以
藉由計算與已知類別案例之相似度，來評估未知類別案例可能的分類。

K-NN是一種基於實例的學習，或者是局部近似和將所有計算推遲到分類之後的惰性學習。
k-近鄰演算法是所有的機器學習演算法中最簡單的之一。

無論是分類還是迴歸，衡量鄰居的權重都非常有用，使較近鄰居的權重比較遠鄰居的權重
大。例如，一種常見的加權方案是給每個鄰居權重賦值為1/ d，其中d是到鄰居的距離。[
註 1]

鄰居都取自一組已經正確分類（在迴歸的情況下，指屬性值正確）的物件。雖然沒要求明
確的訓練步驟，但這也可以當作是此演算法的一個訓練樣本集。

k-近鄰演算法的缺點是對資料的局部結構非常敏感。

K-平均演算法也是流行的機器學習技術，其名稱和k-近鄰演算法相近，但兩者沒有關係。
資料標準化可以大大提高該演算法的準確性[2][3]。

--
『對於不喜歡的人，我沒必要去討好他，不瞭解我的人，我也不必非讓他瞭解我不可。』
----出自第十六冊第19頁

--