学习笔记64_k邻近算法

1 .假定已知数据的各个属性值，以及其类型，例如：

上述数据称为训练数据。

如果有新的电影， k1 , 18 , 90 ,未知

距离：通过一定的计算方法获得，总体来说，距离 = f (k1打斗镜头，k1接吻镜头，m1打斗镜头，m1接吻镜头)

如果 k1与某些电影最接近，这里，就是3个电影最接近，所以K1为爱情片，这里K可以为3，或2 ，或1都行。

***如果出现了距离为 50的片1部，它既不是爱情片，也不是动作片，那么，由于

K邻近算法：

1.存在一个样本数据集合，且样本中，每个数据都存在标签（已经分好类）

2.输入没有标签的新数据后（没有分类的），将新数据的每个特征值，使用一定的办法，与样本中的特征进行比较，然后提取出那些最近似（距离最小）的数据的类型，其中出现最多的类型，作为自己的类型。

***** 一般来说，如果有大量的数据的时候，只需要遍历出K个距离足够小的样本，然后从样本中，选择出现类型最多的分类，作为新数据的分类。

关键点：

1.K的取值（根据数据量，以及各个分类占有的百分比取）。

2.距离如何计算。

3.如何界定距离足够小。

*************************************************************************************************

使用K近邻算法，进行简单的图形识别：

简单：要识别的东西的特征比较明显；图片颜色有比较强的对比度；图片刚好括着要识别的东西；要识别的东西放得比较正等等。

***若果不满足简单，那么就需要预处理，将图片简单化*****

假设有图片：

学习笔记64_k邻近算法-LMLPHP

图片的数据是像素，假设图片的数据格式：

这样的数据结构，假设有大量图片，对每个图片：

第一步：读取图片数据，然后上述的数据结构。

第二步：归一化，如上图，颜色可以分为2类，选择学习笔记64_k邻近算法-LMLPHP 这个颜色的 RGB运算值为1，其他为0

*实际上，每个训练数据的图片，颜色可能都是不一样的，可以使用聚类：

情况可能有如下： 1. 只有两种颜色，如果某种颜色的比例占少数，那么这个颜色运算值应该为1；

　　　　　　　　 2. 三种以上颜色，如果某种颜色的比例占多数，那么这个颜色运算值应该为1；

（归一化的算法很多。）

学习笔记64_k邻近算法-LMLPHP

第三步：形成特征-分类：

*第n行值，是指第n行中，1的总数。

算法使用：

1.如果要识别新的图片，首先要执行上面一，二，三部；

2.求距离：

d = Math.sqrt( d1² + d2² + ............ )

遍历出K个距离足够小的样本

3. 在K个样本中，找出“数字类型”出现最多的类型，作为新的图片所识别的数字。

除了使用MSQ（均方差，也就是d平方）的方法外，对于样本属于哪一类，还有使用夹角来衡量：

学习笔记64_k邻近算法-LMLPHP

假如属性1为数学成绩，属性2位语文成绩，三角形为“均衡生”，而加号为“偏科生”，那么，要认定星号样本属于“均衡生”还是“偏科生”，

显然应该是“均衡生”，但是d1>d2，所以用空间夹角最好（联想向量点积计算）。

补充一点，这个“距离”，其实可以联想到神经网络中的“损失函数”