降维(Dimensionality Reduction)

降维的目的:1 数据压缩
机器学习(十)-------- 降维(Dimensionality Reduction)-LMLPHP

这个是二维降一维 三维降二维就是落在一个平面上。

2 数据可视化
降维的算法只负责减少维数,新产生的特征的意义就必须由我们自 己去发现了。

主成分分析(PCA)是最常见的降维算法。

在 PCA 中,我们要做的是找到一个方向向量(Vector direction),当我们把所有的数据
都投射到该向量上时,我们希望投射平均均方误差能尽可能地小。

主成分分析与线性回归是两种不同的算法。主成分分析最小化的是投射误差(Projected
Error),而线性回归尝试的是最小化预测误差。线性回归的目的是预测结果,而主成分分析
不作任何预测。

机器学习(十)-------- 降维(Dimensionality Reduction)-LMLPHP

上图中,左边的是线性回归的误差(垂直于横轴投影),右边则是主要成分分析的误差
(垂直于红线投影)。

PCA 将

05-11 13:48