主成分分析及应用在线视频

接下来我们看第八节

主成分分析法

这种评价方法以及它的应用

主成分分析法

英文缩写就是PCA

先看一个引例

这个问题怎么来进行评价呢

问题是说

对儿童的生长发育怎么来进行评价

儿童生长发育的指标有很多

比如说有身高 有腿长 有臂长等等

这些都是长度方面的

还有宽度方面的

肩宽 胸宽 胯骨宽 等等等等

要知道对他的发育进行评价的话

可以有很多指标

但是这一系列的指标之间

是存在相关性的

就是说如果身高比较高的话

一般来说腿是比较长的

手臂也是比较长的

等等等等情况

而事实上要进行评价呢

还可以更加精细的具体化到

几十个甚至上百个指标

这些指标之间都是有相关性

或者说是意义上相容的

前面我们在介绍

指标体系建立的原则的时候

是说要尽量地追求各个指标

相互不相容

但是实际上

很难完全地做到

出现这种情况怎么办呢

如果把这一系列的指标

全都保留的话

评价的时候意义上有重叠

就会导致评价不公平

如果随意地删去一些指标的话

又会导致这个指标体系

有可能不能覆盖你的评价目标

第二个例子 我们来看一看

假设你是一个单位的主管

掌握了所有的财务数据

包括固定资产 流动资金

等等等等

么现在你要向上级汇报

怎么来汇报呢

是不是知无不言言无不尽

这其实也是一个评价问题

就是要评价整个单位的财务状况

怎么来进行汇报

怎么来进行评价

最好的方式是高度概括

用比较少量的指标

比较简单明了地说清楚情况

但是所谓的少量指标

又不要使得太多的信息损失

这个工作怎么做呢

事实上我们在进行评价的时候

经常会遇到这样两个问题

一个是指标过多

第二个是指标相关

其实第二个问题是更加重要的

对于很多评价问题来说

指标也许需要很多

才能够覆盖你的研究的目标

但是如果指标相关的话

意义上相互重叠的话

会导致评价不公平的问题

那么怎么来寻找一种比较合理的综合方法

使得指标的个数减少

而新构造出来的指标变量呢

又能够做到彼此不相关

并且尽量地少损失

原有的指标变量中所包含的那些信息

那么主成分分析法

就是要来解决这类问题的

它是综合处理这种问题的

一种强有力的工具

是要把原来的多个指标或者变量

化为少数几个综合性指标的

一种统计分析方法

可以用来进行系统评价

从数学的角度来讲

就是一种降维的处理技术

我们给它抽象化

假设有p个指标

这p个指标就是原有的指标变量

X1到Xp

这一系列的指标它们相互之间

有可能是相关的

那么PCA主成分分析

就是要将这p个指标

通过一定的线性组合

来把它构造出一系列新的指标

Y1,Y2到Ym

这个m小于等于p

要求做到的是

要保证比较充分地反映了

原来的那些指标所蕴含的那些信息

并且新构造出来的这一系列指标

Y1到Ym是相互独立的

Y1到Ym的构造是通过对原来的

p个指标的线性组合来得到

它的一般性的公式在这里面给出来了

就是最终选取的

Y指标变量的个数

比原来的X指标变量的个数更少

那么就认为实现了一定程度的降维

为了更直观地理解PCA的思想

我们给出一个

两个变量问题的一个示例

假设一个评价问题涉及到两个指标

X1和X2

待评价的对象的X1和X2值

在这个坐标系里面描出来了

我们首先观察一下这个数据

X1 X2这两个指标

是不是存在一定的线性相关性呢

当然我们目测来看是很像

实际上是不是存在需要进行检验的

怎么进行PCA的降维

首先要理解信息是怎么来刻画的

前面我们说如果要降维的话

首先要保证信息没有很大的损失

其次还要保证新构造出来的变量

两两是独立的

信息怎么来刻画呢

如果某一个变量只取一个数值

那么在评价的时候

它所能提供的信息就非常有限

只要简单地说在某个变量上面

大概在什么值左右就行了

它所提供的信息只有这么多

如果在某一个变量上

各个待评价的对象取值是非常不同的

那么就可以从中得到

最大值 最小值 平均值

方差 标准差 等等等等

所提供的信息量是比较大的

变量的取值差异性越大

就说明对各种场景的遍历性越强

所提供的信息就越充分

信息量越大

所以在PCA的时候

信息是用标准差或者方差来进行刻画的

如果这样的话

在这个示例里面

各个评价对象在X1和X2上

所提供的信息量好像差不多

那么我们怎么来构造

新的变量呢

很容易想到的问题

就是进行坐标的旋转

先平移再旋转

得到Y1和Y2这两个新的变量

直观地看

是不是在Y1上占有大量的信息

而在Y2上信息量很少呢

因为在新构造出来的Y2这个变量上

各个待评价的对象

取值变化幅度很小

是不是在这个示例问题里面

就可以只取变量Y1呢

把Y2舍弃掉呢

要注意了

Y1和Y2

都是可以通过原始的变量X1和X2

进行线性组合来得到的

它在几何上体现出来的

就是坐标的平移和旋转

是不是可以舍弃到Y2呢

它的信息的损失会有多大呢

这个要具体情况具体分析

我们来看两种极端的情况

第一个是现在我们看到的这种情况

就是前面观测得到的那个椭圆的形状

几乎形成了一个圆

这个代表是什么意思呢

就是从原始数据出发

进行坐标的平移和旋转

所得到的新的坐标系

Y1和Y2

所占有的信息量是基本相同的

就是任何一个新的变量

都大概只含有原来的信息的一半

仅用你一个变量

舍弃掉另外一个变量的话

都有可能造成信息的损失太大

原因就是在原始变量X1和X2上

它们几乎是不相关的

从这个散点图的观察

我们大概也可以看到

在这种情况下

就无法用一个综合的变量来代替了

Y1和Y2不能舍弃任何一个

第二种极端情况

就是那种椭圆的形状

呈现出来这样一个形态

那么如果这样的话

我们再做坐标的平移和旋转

构造出来的Y1 Y2两个变量呢

就会变成现在我们看到的这个样子

在这个情况下Y2

就很可能能够舍弃了

因为原始的数据的

大部分信息都集中在Y1上面

在新构造出来的变量Y1 Y2里面

所有的待评价的对象

在Y2上的取值没什么变化

信息量非常少

刚才我们看到的是二维的问题

如果是对于多维的问题的话

情况是类似的

就是要先找到高维椭球的主轴

前面我们看到的二维的例子

构造出来的

Y1 Y2两个变量

其实就是二维椭球的两个主轴

对于多维问题呢

也是先要通过线性组合

来找到高维椭球的主轴

然后再去判别

在哪些主轴上

占有原始数据的信息比较多

用代表原始数据信息

比较多的那几个轴

作为新的变量

要注意的是

在构造这些线性组合的时候

就是通过原始的变量

进行线性组合构造新的变量的时候

所得到的那些主轴

或者线性组合得到的变量

是要求正交的

而这些相互正交的新的变量

就是原先变量的线性组合得到的

把它称作为主成分

主成分是有多个的

所选择的主成分越少

那么降维的效果就越好

选择的标准

就是被选的主成分

所代表的主轴上的方差之和

占有各个主轴上的方差总和的大部分

也就是说我们前面介绍了

用方差来代表信息量的

在各个主轴上的方差

代表在各个变量上的所占有的信息量

那么因为对于一个

实际的工程问题来说

在原始的变量上

都是有量纲的

所以为了消除量纲的影响

我们往往需要

先对原始变量进行标准化

做了标准化以后

量纲的影响就没有了

那么构造出来的新的变量的话

是由原始的变量的线性组合得到

量纲的影响也没有了

来选取哪些主成分

作为新的这个评价问题

要用到的那些综合指标呢

有文献建议

一般来说所选取的那些主成分

所代表的方差之和

占到原始的所有的主成分的

方差之和的85%就可以了

不过这只是一个大体的说法

具体选哪些主成分

选几个主成分

还要视具体的情况而定

可见 主成分分析的实质

就是要确定原始变量Xj

在各个主成分就是Yi上的

载荷因子uji

确定了这些载荷因子

其实就确定了那些线性组合的方程

可以证明的是

它们分别是

原始的待评价对象的数据的相关矩阵上

m个较大的特征值所对应的特征向量

取哪些特征值取哪些特征向量呢

就如我们前面所说

一般来说较大的m个特征值之和

达到所有的p个特征值之和的85%

用这种方式来确定m

那么PCA的步骤

可以归纳为这样一个过程

首先要将原始数据进行标准化

这个原始数据就是

所有的待评价对象

在原始的评价指标上的取值

首先要进行标准化

标准化的目的是为了消除量纲的影响

其次要建立

原始变量的相关系数矩阵R

就是标准化之后的

原始变量的相关系数矩阵R

然后第三步要求R的特征根

假设求到是

λ1*大于等于 λ2*

等等等等

一直大于等于λp*

都大于等于0

总共p个特征值

它所相应的

特征向量分别是U1* U2*到Up*

第四步就是接下来

由累积方差贡献率

就是按照我们前面的说法

一般来说

要求累积方差贡献率大于等于85%

按照这个准则来确定主成分的个数m

并且写出主成分

它的线性组合的公式

按照矩阵的表示方式

在这里面给出来了

这就是PCA的步骤

接下来我们看看PCA是怎么应用的

这里有一个问题

说有一个中学随机的抽取了30名学生

测量他的身高X1

体重X2 胸围X3和坐高X4

在这个表格里面给出了数据

并且请做主成分分析

我们可以看到X1到X4是相关的

比如说一般来说身高越高

坐高也越高

一般来说体重比较大

他的胸围也比较大

所以虽然只有四个指标

但是它们各个指标之间相关

意义上重叠是相容的

不能直接采取原始数据进行评价

那么做主成分分析

按照前面的步骤

先做标准化

再求相关矩阵

再求相关矩阵的特征根

和特征向量

后按照累积方差率

大于等于85%的原则确定m

那么在这个问题里面呢

由原始变量X1到X4的原始数据

可以得到椭球的四个主轴

Y1 Y2 Y3 Y4

然后去确定m

按照85%的累积贡献率的准则

可以确定Y1和Y2

是所要选取的主成分

Y3, Y4可以舍弃掉

而且可以保证Y1 Y2和Y3 Y4

是两两独立的

意义上是不相容的

那么在这个例子里面得到的Y1

它就是

(-0.497)×X1+(-0.515)×X2+(-0.481)×X3+(-0.507)×X4

Y2也是类似的表示

前两个主成分的累积贡献率

经过计算就已经达到了96%

所以Y3 Y4是可以舍弃的 没有问题

接下来要做的是什么呢

就是剖析一下Y1和Y2的意义是什么

因为它是从原始的变量

给它进行了

线性组合得到的新的综合性指标

原始的变量意义是很明确的

但新的指标

意义上是不是也可以比较明确呢

接下来讨论一下Y1和Y2的意义

实际上代表是什么

首先观察Y1

第一个主成分

在原始的变量上

它所得到的线性组合的系数都取负

并且绝对值都在0.5左右

它反映的是学生的身材魁梧程度

因为比较高大的学生

四个部分的尺寸都比较大

所以第一个主成分的值

就会取值比较小

而反之呢

第一个主成分的值

取值就会比较大

所以第一个主成分的意义

可以归纳出来就是

它代表的是一个大小因子

越是高大魁梧的学生

计算出来的大小因子

取值就比较小

越是矮小的学生

计算出来的大小因子

值就会比较大

接下来观察第二个主成分Y2

它正好是高度和围度之差

因为在X1和X4上面系数是正

分别是身高和坐高

而在X2和X3上

线性组合的系数为负

那么这个取值会带来什么结果呢

就是取值越大

就越说明学生比较细高

而取值越小

则说明学生比较矮胖

所以第二个主成分的意义

就代表着形体因子

那么把原始的数据

通过主成分的计算

描到坐标系上就得到这样一个结果

现在我们看到的

是第一个主成分的散点图

横轴是30个学生的序号

就是样本号

纵轴是第一主成分的取值

那么按照第一主成分的意义

怎么来评价呢

取值比较高的

这一系列学生

其实就是那些比较矮小的学生

就是这四个

红色框

框出来的这几个学生呢

就是身材比较高大的

这是第二个主成分的散点图

横轴也是学生的序号

就是样本序号

纵轴是第二个主成分的取值

同样道理可以得到

怎么来评价呢

取值比较高的

就是那些身材比较细高的那些学生

就是这蓝色圆圈框出来的几个点

红色圆圈框出来几个点

在第二个主成分上取值比较低

就是形体相对来说比较矮胖的那些学生

这样的话

原始的数据是用四个指标来表示的

通过主成分分析给它降维

得到两个综合性的指标

而且这两个综合性的指标

相互之间是独立的

没有意义上的重叠

用这两个指标来进行评价

相对来说更加客观

更加科学 更加公平