降维(Dimensionality Reduction)
降维的目的:1 数据压缩
这个是二维降一维 三维降二维就是落在一个平面上。
2 数据可视化
降维的算法只负责减少维数,新产生的特征的意义就必须由我们自 己去发现了。
主成分分析(PCA)是最常见的降维算法。
在 PCA 中,我们要做的是找到一个方向向量(Vector direction),当我们把所有的数据
都投射到该向量上时,我们希望投射平均均方误差能尽可能地小。
主成分分析与线性回归是两种不同的算法。主成分分析最小化的是投射误差(Projected
Error),而线性回归尝试的是最小化预测误差。线性回归的目的是预测结果,而主成分分析
不作任何预测。
上图中,左边的是线性回归的误差(垂直于横轴投影),右边则是主要成分分析的误差
(垂直于红线投影)。
PCA 将