knn算法(k-Nearest Neighbor algorithm).是一种经典的分类算法.

注意,不是聚类算法.所以这种分类算法必然包括了训练过程.

然而和一般性的分类算法不同,knn算法是一种懒惰算法.它并非

像其他的分类算法先通过训练建立分类模型.,而是一种被动的分类

过程.它是边测试边训练建立分类模型.

算法的一般描述过程如下:

1.首先计算每个测试样本点到其他每个点的距离.

这个距离可以是欧氏距离,余弦距离等.

2. 然后取出距离小于设定的距离阈值的点.

这些点即为根据阈值环绕在测试样本最邻近的点.

3.选出这些邻近点中比例最大的点簇的类.

那么就将概测试点归入此类.

注意：knn算法的开销很大,因为要计算每个样本点到其他所有点的距离.

    knn算法的距离一般要根据实际样本点的情况来选取.

    knn算法的距离阈值要根据样本的分散集中程度来选取.经验一般选取样本点集合的均方差.

下面是一个matlab中运用knn函数分类的例子.

clc;
clear;

load 'Train_Data.mat' %载入训练数据

load 'Train_Label.mat' %载入训练分类标签


test_data=http://www.mamicode.com/[43;>
Train_Data.mat截图如下：

Train_Label.mat截图如下：

k结果截图如下:


转载请注明作者：小刘
数据挖掘之分类算法---knn算法(有matlab例子)