当前课程知识点：刑侦视频图像处理 > 第6章 图像检索技术 > 6.4PCA降维 > 6.4PCA降维
各位同学大家好
今天我们来一起学习
图像检索技术的最后一个内容
PCA特征降维
这一部分内容包含两个知识点
第一特征降维的必要性
第二是PCA主成分分析的原理
首先我们来讲一下特征降维的必要性
我们知道上一节我们讲了VLAD特征
它具有较强的稀疏性 因为稀疏性的话
就会导致信息编码的时候带来损失
所以我们如果对 VLAD特征再进一步进行降维的话
可以很好的提高信息的利用率
我们常见的降维的方法主成分分析法
而主成分分析法的话
它的主要思想是将M维的特征映射到K维上
而这个K为是全新的一个正交特征
也被称为主成分
它是在原有的N维特征的基础上
重新构造出来的一个K维的特征
而这个K维 往往远远小于N
比如说我们的VLAD特征的话 它是K*128
有可能我们进行降维之后 它就变成了很小
比如几十 甚至是不到一百
降维之后 它的信息还能得到基本的一个保留
为什么可以进行降维呢
我们举一个典型的一个例子
下面这个左图是
一个二维图像上面的一个样本点
我们可以看到
如果我们把样本点沿着红颜色的线
进行一个投影 在红颜色线投影之后
它丢失了一维 但是样本点它们的分布性
基本上没有变化
也就是说是蓝颜色这个点上
它所带来的一个信息损失
对于整个的这个样本可以忽略的
或者是可以是接受的
这个就是为什么
我们能进行特征降维的
这样的一个原因
下来我们来讲一下PCA主成分分析法
它基本的原理
PCA有两种通俗易懂的解释
第一种是基于最小的投影距离
第二种是基于最大的一个投影方差
基于最小的投影距离的话
就是说是我们对于样本向低维投影之后
我们尽量要让投影之后的所有的向量
它到低维的空间
它们之间的距离和是最小的
如果表示成一个公式就是这样的
我们对于 X(i)拔减去X(i) 对于所有的这些样本
他们的距离差的和 要让它变得最小
而X(i)拔就是我们的投影的向量
X(i)是原始的向量
整个的推导的过程是这样的
我们对这样的一个目标函数
我们进行这样的一个变换
变化完之后我们可以得到右边的公式
就是Arg然后负的一个迹 W转置乘以X
再乘以X转置W
然后我们W是我们的讨论的投影的向量
我们也可以是投影的空间
然后因为投影向量或者投影空间必须是正交的
所以是必须约束 W转置×W=I
我们利用拉格朗日函数法
我们可以得到这样的一个目标函数
就是J(W) 通过对J(W)求解
我们可以得到最优的W 满足X×X转置
乘以W=lambda乘以W
也就是说我们要计算 W的话
第一是我们需要计算X×X转置
其实就是原始样本的协方差矩阵
第二个的话 我们可以看出这样的一个形式
就是图像特征值特征方程这样的一个形式
那么就是我们需要进行SVD分解
那么下来我来讲一下 这两个基本概念
就是协方差矩阵和SVD分解
首先第一是协方差矩阵
样本X跟样本Y的协方差矩阵
可以表示成以下的形式
就COV(X，Y)的协方差矩阵
等于(X-X拔)×(Y-Y拔)
所有的维度进行一个求和
然后再除以样本的个数
假设一个典型的三维的数据
XYZ它的协方差可以表示往下面这个C
然后协方差的话 它所表示的就是
X样本跟Y样本 它之间的一个相关性
如果协方差为正 就说明X跟Y是正相关的
如果协方差为负 说明X跟Y是负相关
如果协方差为0 说明X跟Y是相互独立的
下来我们来讲一下SVD的分解原理
SVD的话 奇异值分解或者说是特征值分解
它需要满足的这样一个公式
就是A乘以X等于lambda乘以X
如果是满足这样的一个等式的话
我们就称lambda是矩阵A的特征值
X是对应于这个特征值lambda的特征向量
实际上我们可以这样理解的
矩阵A它作用在它的特征向量X上
它仅仅会使X的长度发生变化
也就是缩放比例刚好就是相应的特征值lambda
这是一个很奇妙的变换
就说是我们对于一个向量乘以一个矩阵
它竟然没有对于向量的方向发生变化
只是对它的长度发生变化
所以说是这样的一个特征值lambda
包括满足这样性质的X都是比较特殊的
对于这样的一个满足特征值分解的
这样的一个形式的矩阵A
我们可以对它进行进一步变换
如果存在这样的一个矩阵Q转置×A×Q
他等于lambda_1一直到lambda_n
这样的一个对角矩阵
我们就说Q的列向量是A的特征值向量
然后下面我们来说一下
PCA算法的整个的一个处理步骤
首先我们将原始的数据
按照列组成一个N行M列的矩阵Xs
然后我们将Xs的每一行进行一个零均值化
我们得到X然后我们再求出协方差矩阵C
就是1/M ×X×X转制
就是我们最终的目标函数里面的 X×X转制
然后我们求出协方差矩阵
它所对应的特征值 以及对应的特征向量
我们将这个特征向量
按照对应的特征值的代号进行一个排序
我们取前K个特征值所对应的特征向量
组成一个这样的一个映射矩阵
我们定它为P
然后我们将Y=P×X这样的一个结果
就是Y=P×X
相当于是对X在P上面进行一个投影
这样一个投影的话就是我们降维后的特征
降维后的特征Y的话 他的维度是一个是K×N的
这个维度的话就会远远小于原始的 X
这就是PCA降维它的基本的原理
好的 谢谢大家
今天我们关于PCA特征
降维的讲解就到此为止
-1.1 绪论（上）
--1.1绪论（上）
-1.2 绪论（下）
-第1章测试
-2.1 光照不良图像增强处理（上）
-2.2 光照不良图像增强处理（下）
-第2章习题
-3.1图像超分辨率重建技术概述
-3.2基于插值的图像超分辨率重建
-3.3基于深度学习的图像超分辨率重建之神经网络
-3.4基于深度学习的图像超分辨率重建
-3.5基础知识介绍
-3.6压缩感知与超分辨率重建
-3.7基于压缩感知字典学习的超分方法
-第3章测试一
-第3章测试二
-4.1引言-什么是HDR图像
-4.2 概述-HDR图像处理的研究内容
-4.3HDR图像获取—多曝光融合
-4.4色调映射基础
-第4章测试题
-5.1图像水印技术概述
-5.2图像单水印技术
-5.3图像双水印技术
-第5章测试题
-6.1图像检索概述
-6.2词袋(BOW)特征描述
-6.3VLAD特征编码
-6.4PCA降维
--6.4PCA降维
-7.1 监控视频编码的作用
-7.2 监控视频编码的标准
-7.3 监控视频编码标准
-第7章测试
-8.1运动目标检测
-8.2运动目标跟踪
-第8章测试题
-9.1高光谱图像基础知识
-9.2高光谱图像的应用
-9.3高光谱图像处理
-第9章测试题
-10.1现勘足迹的基本知识
-10.2现勘足迹提取方法
-10.3结构光测量技术概况
-10.4结构光提取原理
-10.5现勘三维现场重建技术
-10.6基于二维图像的三维现场重建
-10.7基于深度信息的三维现场重建
-10.8应用案例
--10.8应用案例
-第10章测试题
-11.1研究背景与意义
-11.2图像预处理技术
-11.3基于LBP纹理的鞋印检索
-11.4基于SIFT特征的鞋印检索
-第11章测试题
-12.1什么是案件的智能串并？
-12.2实现智能串并案的机遇与挑战
-12.3智能串并案的实现策略与方案
-12.4真实案件智能串并的实现
-第12章测试题
-13.1刑侦模拟画像概述
-13.2 刑侦模拟画像计算机辅助系统
-13.3刑侦模拟画像计算机辅助系统：两维三维画像辅助
-第13章测试题