k-近邻算法原理
简单地说,K-近邻算法采用测量不同特征值之间的距离方法进行分类。
- 优点:精度高(计算距离)、对异常值不敏感(单纯根据距离进行分类,会忽略特殊情况)、无数据输入假定(不会对数据预先进行判定)。
- 缺点:时间复杂度高、空间复杂度高。
- 适用数据范围:数值型和标称型。
工作原理
存在一个样本数据集合,也称作训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一数据 与所属分类的对应关系。输人没有标签的新数据后,将新数据的每个特征与样本集中数据对应的 特征进行比较,然后算法提取样本集中特征最相似数据(最近邻)的分类标签。一般来说,我们 只选择样本数据集中前K个最相似的数据,这就是K-近邻算法中K的出处,通常K是不大于20的整数。 最后 ,选择K个最相似数据中出现次数最多的分类,作为新数据的分类。
回到前面电影分类的例子,使用K-近邻算法分类爱情片和动作片。有人曾经统计过很多电影的打斗镜头和接吻镜头,下图显示了6部电影的打斗和接吻次数。假如有一部未看过的电影,如何确定它是爱情片还是动作片呢?我们可以使用K-近邻算法来解决这个问题。
首先我们需要知道这个未知电影存在多少个打斗镜头和接吻镜头,上图中问号位置是该未知电影出现的镜头数图形化展示,具体数字参见下表。
即使不知道未知电影属于哪种类型,我们也可以通过某种方法计算出来。首先计算未知电影与样本集中其他电影的距离,如图所示
现在我们得到了样本集中所有电影与未知电影的距离,按照距离递增排序,可以找到K个距 离最近的电影。假定k=3,则三个最靠近的电影依次是California Man、He's Not Really into Dudes、Beautiful Woman。K-近邻算法按照距离最近的三部电影的类型,决定未知电影的类型,而这三部电影全是爱情片,因此我们判定未知电影是爱情片。
欧几里得距离(Euclidean Distance)
欧氏距离是最常见的距离度量,衡量的是多维空间中各个点之间的绝对距离。公式如下:
在scikit-learn库中使用k-近邻算法
一个最简单的例子
身高、体重、鞋子尺码数据对应性别
import numpy as np import pandas as pd from pandas import DataFrame,Series
feature = np.array([[170,75,41],[166,65,38],[177,80,43],[179,80,43],[170,60,40],[160,55,38]]) target = np.array(['男','女','男','男','女','女'])
from sklearn.neighbors import KNeighborsClassifier knn = KNeighborsClassifier(n_neighbors=3)
knn.fit(feature,target)
knn.score(feature,target)
knn.predict(np.array([[180,70,43]])) array(['男'], dtype='<U1')
预测电影类型案例
# 预测电影类型案例 data = pd.read_excel('../../my_films.xlsx') data name Action lens Love lens target 0 前任3 4 10 Action 1 西游记 16 2 Action 2 战狼2 18 3 Action 3 失恋33天 2 13 Love 4 宝贝计划 4 2 Comedy 5 捉妖记 10 10 Action 6 乡村爱情 3 4 Comedy 7 阳光的快乐生活 2 3 Comedy 8 后来的你们 2 11 Love 9 大话西游 18 2 Action 10 速度与激情8 3 19 Love 11 一路向北 5 17 Love
# 取出模型特征数据 feature = data[['Action lens','Love lens']] # 取出模型目标数据 target = data['target'] # 实例化模型对象 knn = KNeighborsClassifier(n_neighbors=3) # 对模型进行训练 knn.fit(feature,target) knn.score(feature,target)
# 进行分类预测 knn.predict(np.array([[90,33]])) # 90 Action lens 33 Love lens array(['Comedy'], dtype=object)