机器学习入门：LLE与TSNE降维技术详解（第二部分）？

本文共计4392个文字，预计阅读时间需要18分钟。

在上一节中，我们介绍了常见的降维方法PCA。本节将介绍另一种降维方法LLE，并对其他降维算法进行简要介绍。欲深入了解，请继续阅读。

在上一节介绍了一种最常见的降维方法PCA，本节介绍另一种降维方法LLE，本来打算对于其他降维算法一并进行一个简介，不过既然看到这里了，就对这些算法做一个相对详细的学习吧。

---

0.流形学习简介

在前面PCA中说到，PCA是一种无法将数据进行拉直，当直接对于曲面进行降维后，导致数据的重叠，难以区分，如下图所示：

这是因为在使用PCA降维时，PCA仅仅关注于保持降维后的方差最大，没有考虑样本的局部特征，如图所示：

利用PCA在对点①进行降维后，没有考虑点①与其他点②、③、④..的位置关系，也就是说对于点①来说，点⑤到点①的距离相较于点④到点①的距离更近，而在实际中并非如此，有句话说叫“举头见日，不见长安”。

此时就需要流形学习（Manifold Learning）来解决这个问题。所谓流形学习，就是一类基于流形的学习框架，所谓流形就是上面那样一张“S”的曲面，也可以想象成一个将地毯卷起来的样子，也就是一种不闭合的曲面，而流形学习就是对这个不闭合的去年进行降维，也就相当于把这上面那个“S”拉直，或者把地毯铺开的一个过程。

不同于PCA算法，流形学习在降维中关注保持样本的局部线性特征，为了保持局部特征，在进行降维时，不能将欧氏距离作为样本间的距离了，

此时就需要利用测地距离来保持样本间的特征，这个算法就是ISOMAP等距映射算法，该算法考虑在降维后每一个样本与其它样本的测地距离。