当前课程知识点:系统工程原理 > 第五章 系统评价 > 第八节 主成分分析及应用 > 主成分分析及应用
接下来我们看第八节
主成分分析法
这种评价方法以及它的应用
主成分分析法
英文缩写就是PCA
先看一个引例
这个问题怎么来进行评价呢
问题是说
对儿童的生长发育怎么来进行评价
儿童生长发育的指标有很多
比如说有身高 有腿长 有臂长等等
这些都是长度方面的
还有宽度方面的
肩宽 胸宽 胯骨宽 等等等等
要知道对他的发育进行评价的话
可以有很多指标
但是这一系列的指标之间
是存在相关性的
就是说如果身高比较高的话
一般来说腿是比较长的
手臂也是比较长的
等等等等情况
而事实上要进行评价呢
还可以更加精细的具体化到
几十个甚至上百个指标
这些指标之间都是有相关性
或者说是意义上相容的
前面我们在介绍
指标体系建立的原则的时候
是说要尽量地追求各个指标
相互不相容
但是实际上
很难完全地做到
出现这种情况怎么办呢
如果把这一系列的指标
全都保留的话
评价的时候意义上有重叠
就会导致评价不公平
如果随意地删去一些指标的话
又会导致这个指标体系
有可能不能覆盖你的评价目标
第二个例子 我们来看一看
假设你是一个单位的主管
掌握了所有的财务数据
包括固定资产 流动资金
等等等等
么现在你要向上级汇报
怎么来汇报呢
是不是知无不言言无不尽
这其实也是一个评价问题
就是要评价整个单位的财务状况
怎么来进行汇报
怎么来进行评价
最好的方式是高度概括
用比较少量的指标
比较简单明了地说清楚情况
但是所谓的少量指标
又不要使得太多的信息损失
这个工作怎么做呢
事实上我们在进行评价的时候
经常会遇到这样两个问题
一个是指标过多
第二个是指标相关
其实第二个问题是更加重要的
对于很多评价问题来说
指标也许需要很多
才能够覆盖你的研究的目标
但是如果指标相关的话
意义上相互重叠的话
会导致评价不公平的问题
那么怎么来寻找一种比较合理的综合方法
使得指标的个数减少
而新构造出来的指标变量呢
又能够做到彼此不相关
并且尽量地少损失
原有的指标变量中所包含的那些信息
那么主成分分析法
就是要来解决这类问题的
它是综合处理这种问题的
一种强有力的工具
是要把原来的多个指标或者变量
化为少数几个综合性指标的
一种统计分析方法
可以用来进行系统评价
从数学的角度来讲
就是一种降维的处理技术
我们给它抽象化
假设有p个指标
这p个指标就是原有的指标变量
X1到Xp
这一系列的指标它们相互之间
有可能是相关的
那么PCA主成分分析
就是要将这p个指标
通过一定的线性组合
来把它构造出一系列新的指标
Y1,Y2到Ym
这个m小于等于p
要求做到的是
要保证比较充分地反映了
原来的那些指标所蕴含的那些信息
并且新构造出来的这一系列指标
Y1到Ym是相互独立的
Y1到Ym的构造是通过对原来的
p个指标的线性组合来得到
它的一般性的公式在这里面给出来了
就是最终选取的
Y指标变量的个数
比原来的X指标变量的个数更少
那么就认为实现了一定程度的降维
为了更直观地理解PCA的思想
我们给出一个
两个变量问题的一个示例
假设一个评价问题涉及到两个指标
X1和X2
待评价的对象的X1和X2值
在这个坐标系里面描出来了
我们首先观察一下这个数据
X1 X2这两个指标
是不是存在一定的线性相关性呢
当然我们目测来看是很像
实际上是不是存在需要进行检验的
怎么进行PCA的降维
首先要理解信息是怎么来刻画的
前面我们说如果要降维的话
首先要保证信息没有很大的损失
其次还要保证新构造出来的变量
两两是独立的
信息怎么来刻画呢
如果某一个变量只取一个数值
那么在评价的时候
它所能提供的信息就非常有限
只要简单地说在某个变量上面
大概在什么值左右就行了
它所提供的信息只有这么多
如果在某一个变量上
各个待评价的对象取值是非常不同的
那么就可以从中得到
最大值 最小值 平均值
方差 标准差 等等等等
所提供的信息量是比较大的
变量的取值差异性越大
就说明对各种场景的遍历性越强
所提供的信息就越充分
信息量越大
所以在PCA的时候
信息是用标准差或者方差来进行刻画的
如果这样的话
在这个示例里面
各个评价对象在X1和X2上
所提供的信息量好像差不多
那么我们怎么来构造
新的变量呢
很容易想到的问题
就是进行坐标的旋转
先平移再旋转
得到Y1和Y2这两个新的变量
直观地看
是不是在Y1上占有大量的信息
而在Y2上信息量很少呢
因为在新构造出来的Y2这个变量上
各个待评价的对象
取值变化幅度很小
是不是在这个示例问题里面
就可以只取变量Y1呢
把Y2舍弃掉呢
要注意了
Y1和Y2
都是可以通过原始的变量X1和X2
进行线性组合来得到的
它在几何上体现出来的
就是坐标的平移和旋转
是不是可以舍弃到Y2呢
它的信息的损失会有多大呢
这个要具体情况具体分析
我们来看两种极端的情况
第一个是现在我们看到的这种情况
就是前面观测得到的那个椭圆的形状
几乎形成了一个圆
这个代表是什么意思呢
就是从原始数据出发
进行坐标的平移和旋转
所得到的新的坐标系
Y1和Y2
所占有的信息量是基本相同的
就是任何一个新的变量
都大概只含有原来的信息的一半
仅用你一个变量
舍弃掉另外一个变量的话
都有可能造成信息的损失太大
原因就是在原始变量X1和X2上
它们几乎是不相关的
从这个散点图的观察
我们大概也可以看到
在这种情况下
就无法用一个综合的变量来代替了
Y1和Y2不能舍弃任何一个
第二种极端情况
就是那种椭圆的形状
呈现出来这样一个形态
那么如果这样的话
我们再做坐标的平移和旋转
构造出来的Y1 Y2两个变量呢
就会变成现在我们看到的这个样子
在这个情况下Y2
就很可能能够舍弃了
因为原始的数据的
大部分信息都集中在Y1上面
在新构造出来的变量Y1 Y2里面
所有的待评价的对象
在Y2上的取值没什么变化
信息量非常少
刚才我们看到的是二维的问题
如果是对于多维的问题的话
情况是类似的
就是要先找到高维椭球的主轴
前面我们看到的二维的例子
构造出来的
Y1 Y2两个变量
其实就是二维椭球的两个主轴
对于多维问题呢
也是先要通过线性组合
来找到高维椭球的主轴
然后再去判别
在哪些主轴上
占有原始数据的信息比较多
用代表原始数据信息
比较多的那几个轴
作为新的变量
要注意的是
在构造这些线性组合的时候
就是通过原始的变量
进行线性组合构造新的变量的时候
所得到的那些主轴
或者线性组合得到的变量
是要求正交的
而这些相互正交的新的变量
就是原先变量的线性组合得到的
把它称作为主成分
主成分是有多个的
所选择的主成分越少
那么降维的效果就越好
选择的标准
就是被选的主成分
所代表的主轴上的方差之和
占有各个主轴上的方差总和的大部分
也就是说我们前面介绍了
用方差来代表信息量的
在各个主轴上的方差
代表在各个变量上的所占有的信息量
那么因为对于一个
实际的工程问题来说
在原始的变量上
都是有量纲的
所以为了消除量纲的影响
我们往往需要
先对原始变量进行标准化
做了标准化以后
量纲的影响就没有了
那么构造出来的新的变量的话
是由原始的变量的线性组合得到
量纲的影响也没有了
来选取哪些主成分
作为新的这个评价问题
要用到的那些综合指标呢
有文献建议
一般来说所选取的那些主成分
所代表的方差之和
占到原始的所有的主成分的
方差之和的85%就可以了
不过这只是一个大体的说法
具体选哪些主成分
选几个主成分
还要视具体的情况而定
可见 主成分分析的实质
就是要确定原始变量Xj
在各个主成分就是Yi上的
载荷因子uji
确定了这些载荷因子
其实就确定了那些线性组合的方程
可以证明的是
它们分别是
原始的待评价对象的数据的相关矩阵上
m个较大的特征值所对应的特征向量
取哪些特征值取哪些特征向量呢
就如我们前面所说
一般来说较大的m个特征值之和
达到所有的p个特征值之和的85%
用这种方式来确定m
那么PCA的步骤
可以归纳为这样一个过程
首先要将原始数据进行标准化
这个原始数据就是
所有的待评价对象
在原始的评价指标上的取值
首先要进行标准化
标准化的目的是为了消除量纲的影响
其次要建立
原始变量的相关系数矩阵R
就是标准化之后的
原始变量的相关系数矩阵R
然后第三步要求R的特征根
假设求到是
λ1*大于等于 λ2*
等等等等
一直大于等于λp*
都大于等于0
总共p个特征值
它所相应的
特征向量分别是U1* U2*到Up*
第四步就是接下来
由累积方差贡献率
就是按照我们前面的说法
一般来说
要求累积方差贡献率大于等于85%
按照这个准则来确定主成分的个数m
并且写出主成分
它的线性组合的公式
按照矩阵的表示方式
在这里面给出来了
这就是PCA的步骤
接下来我们看看PCA是怎么应用的
这里有一个问题
说有一个中学随机的抽取了30名学生
测量他的身高X1
体重X2 胸围X3和坐高X4
在这个表格里面给出了数据
并且请做主成分分析
我们可以看到X1到X4是相关的
比如说一般来说身高越高
坐高也越高
一般来说体重比较大
他的胸围也比较大
所以虽然只有四个指标
但是它们各个指标之间相关
意义上重叠是相容的
不能直接采取原始数据进行评价
那么做主成分分析
按照前面的步骤
先做标准化
再求相关矩阵
再求相关矩阵的特征根
和特征向量
后按照累积方差率
大于等于85%的原则确定m
那么在这个问题里面呢
由原始变量X1到X4的原始数据
可以得到椭球的四个主轴
Y1 Y2 Y3 Y4
然后去确定m
按照85%的累积贡献率的准则
可以确定Y1和Y2
是所要选取的主成分
Y3, Y4可以舍弃掉
而且可以保证Y1 Y2和Y3 Y4
是两两独立的
意义上是不相容的
那么在这个例子里面得到的Y1
它就是
(-0.497)×X1+(-0.515)×X2+(-0.481)×X3+(-0.507)×X4
Y2也是类似的表示
前两个主成分的累积贡献率
经过计算就已经达到了96%
所以Y3 Y4是可以舍弃的 没有问题
接下来要做的是什么呢
就是剖析一下Y1和Y2的意义是什么
因为它是从原始的变量
给它进行了
线性组合得到的新的综合性指标
原始的变量意义是很明确的
但新的指标
意义上是不是也可以比较明确呢
接下来讨论一下Y1和Y2的意义
实际上代表是什么
首先观察Y1
第一个主成分
在原始的变量上
它所得到的线性组合的系数都取负
并且绝对值都在0.5左右
它反映的是学生的身材魁梧程度
因为比较高大的学生
四个部分的尺寸都比较大
所以第一个主成分的值
就会取值比较小
而反之呢
第一个主成分的值
取值就会比较大
所以第一个主成分的意义
可以归纳出来就是
它代表的是一个大小因子
越是高大魁梧的学生
计算出来的大小因子
取值就比较小
越是矮小的学生
计算出来的大小因子
值就会比较大
接下来观察第二个主成分Y2
它正好是高度和围度之差
因为在X1和X4上面系数是正
分别是身高和坐高
而在X2和X3上
线性组合的系数为负
那么这个取值会带来什么结果呢
就是取值越大
就越说明学生比较细高
而取值越小
则说明学生比较矮胖
所以第二个主成分的意义
就代表着形体因子
那么把原始的数据
通过主成分的计算
描到坐标系上就得到这样一个结果
现在我们看到的
是第一个主成分的散点图
横轴是30个学生的序号
就是样本号
纵轴是第一主成分的取值
那么按照第一主成分的意义
怎么来评价呢
取值比较高的
这一系列学生
其实就是那些比较矮小的学生
就是这四个
红色框
框出来的这几个学生呢
就是身材比较高大的
这是第二个主成分的散点图
横轴也是学生的序号
就是样本序号
纵轴是第二个主成分的取值
同样道理可以得到
怎么来评价呢
取值比较高的
就是那些身材比较细高的那些学生
就是这蓝色圆圈框出来的几个点
红色圆圈框出来几个点
在第二个主成分上取值比较低
就是形体相对来说比较矮胖的那些学生
这样的话
原始的数据是用四个指标来表示的
通过主成分分析给它降维
得到两个综合性的指标
而且这两个综合性的指标
相互之间是独立的
没有意义上的重叠
用这两个指标来进行评价
相对来说更加客观
更加科学 更加公平
-课程概述
--课程概述
-为何学习系统工程
--为何学习系统工程
--人类基因工程
-第一节 系统的基本概念
--系统的基本概念
-第一节测试 系统的基本概念
-第二节 系统的分类
--系统的分类
-第二节测试 系统的分类
-第三节 系统思想的发展
--系统思想的发展
-第三节测试 系统思想的发展
-第四节 系统工程的概念
--系统工程的概念
-第四节测试 系统工程的概念
-第五节 系统工程的特点
--系统工程的特点
--扩展阅读
-第五节测试 系统工程的特点
-第六节 系统工程的发展与应用
--扩展资料
-第六节测试 系统工程的发展与应用
-第一节 还原论与整体论
--还原论与整体论
-第一节测试 还原论与整体论
-第二节 霍尔三维结构
--霍尔三维结构
-第二节测试 霍尔三维结构
-第三节 霍尔三维结构的应用
-第四节 切特兰德的调查学习法
-第四节测试 切特兰德的调查学习法
-第五节 调查学习模式的应用
-第六节 综合集成工程
--综合集成工程
-第六节测试 综合集成工程
-第一节 系统分析概述
--系统分析概述
-第一节测试 系统分析概述
-第二节 系统分析应用
--系统分析应用
-第三节 系统目标分析的目标手段法
--目标手段法
-第三节测试 系统目标分析的目标手段法
-第四节 系统环境分析的SWOT法
--SWOT法
-第四节测试 系统环境分析的SWOT法
-第五节 系统功能分析的IDEF0方法
--IDEF0法
-第五节测试 系统功能分析的IDEF0方法
-第六节 系统结构分析的ISM法
--ISM方法
-第六节测试 系统结构分析的ISW法
-第七节 ISM方法的应用
--ISM应用
--ISM-扩展阅读
-第一节 系统预测概述
--系统预测概述
-第一节测试 系统预测概述
-第二节 时间序列分析预测
--时间序列分析预测
-第二节测试 时间序列分析预测
-第三节 时间序列分析预测应用
--时间序列预测应用
-第四节 回归分析预测法
--回归分析预测法
-第四节测试 回归分析预测法
-第五节 回归分析预测法应用
-第六节 马尔可夫预测法
--马尔可夫预测法
-第六节测试 马尔可夫预测法
-第七节 马尔可夫预测法应用
--马尔可夫预测应用
-第一节 系统评价基本概念
-第一节测试 系统评价基本概念
-第二节 系统评价的一般步骤
-第三节 指标体系的建立
--指标体系的建立
-第三节测试 指标体系的建立
-第四节 指标权重确定方法
--指标权重确定方法
-第四节测试 指标权重确定方法
-第五节 指标数量化方法
--指标数量化方法
-第五节测试 指标数量化方法
-第六节 指标综合方法
--指标综合方法
-第六节测试 指标综合方法
-第七节 层次分析法及应用
--层次分析法
-第七节测试 层次分析法及应用
-第八节 主成分分析及应用
--主成分分析及应用
-第八节测试 主成分分析及应用
-第九节 数据包络分析法
--数据包络分析法
-第九节测试 数据包络分析法
-第一节 系统决策概述
--系统决策概述
-第一节测试 系统决策概述
-第二节 完全不确定型决策方法
--完全不确定型决策
-第二节测试 完全不确定型决策方法
-第三节 风险型决策方法
--风险型决策方法
--决策树应用案例
-第三节测试 风险型决策方法
-第四节 贝叶斯决策方法
--贝叶斯决策方法
-第四节测试 贝叶斯决策方法
-引言
--引言
-第七章 网络计划技术--引言
-第一节 网络图的组成与绘制
-第一节测试 网络图的组成与绘制
-第二节 网络图的参数计算
--网络图的参数计算
-第二节测试 网络图的参数计算
-第三节 网络图关键路线的确定
-第三节测试 网络图关键路线的确定
-第四节 任务按期完成概率分析与计算
-第四节测试 任务按期完成概率分析与计算
-期末考核