当前课程知识点：刑侦视频图像处理 > 第3章 图像超分辨率重建技术 > 3.3基于深度学习的图像超分辨率重建之神经网络 > 3.3基于深度学习的图像超分辨率重建之神经网络
各位同学大家好
这一讲我们来讲
基于深度学习的
图像超分辨率重建之神经网络
我们主要介绍
四部分的内容神经元
单层神经网络 两层神经网络
以及多层神经网络
人脑是如何工作的
人类能否制作模拟人脑的
人工神经元
多少年以来
人们从医学 生物学 生理学
哲学 信息学 计算机科学
认知学 组织协同学等
各个角度企图认识并解答上述问题
在寻找上述问题答案
的研究过程中
逐渐形成了一个
新兴的多学科交叉技术领域
称之为神经网络
这种网络依靠系统的复杂程度
通过调整内部大量节点之间
相互连接的关系
从而达到处理信息的目的
它是深度学习的基础
可以用于数据压缩，图像处理
信号检测 通信网优化等众多领域
1904年
生物学家就已经知晓了
神经元的组成结构
一个神经元通常具有多个树突
主要用来接受传入信息
而轴突只有一条
轴突尾端有许多轴突末梢
可以给其他多个神经元传递信息
轴突末梢跟其他神经元的树突
产生连接
从而传递信号
这个连接的位置
在生物学上叫做突触
1943年
心理学家和数学家参考了
生物神经元的结构
发表了抽象的神经元模型
神经元模型是一个
包含输入输出与计算功能的模型
输入可以类比为神经元的树突
而输出可以类比为神经元的轴突
计算则可以类比为细胞核
中间的箭头线称为连接
每一个连接上都有一个权重
一个神经网络的训练算法
就是让权重的值调整到最佳
以使得整个网络的预测效果最好
如果我们将神经元图中的
所有变量用符号表示
并且写出输出的计算公式的话
就是如下图所示
也可以将神经元的画法进行扩展
便于后续画复杂的网络
1943年发布的神经元模型虽然简单
但已经建立了神经网络的基础
但在该模型中
权重的值都是预先设置的
因此不能学习
1949年
心理学家赫布提出了学习率
认为人脑神经细胞的突触
也就是连接的强度是可以变化的
于是计算科学家们开始考虑
用调整权值的方法来让机器学习
这为后面的学习算法奠定了基础
1958年首个可以学习的
人工神经网络感知器诞生了
许多学者和科研机构
纷纷投入到神经网络的研究中
这段时间直到1969年才结束
这个时期
可以看做神经网络的第一次高潮
在感知器中有两个层次
分别是输入层和输出层
输入层里的输入单元只负责传输数据
不做计算
输出层里的输出单元
则需要对前面一层的输入进行计算
我们把需要计算的层次称之为计算层
并把拥有一个计算层的网络
称之为单层神经网络
下图显示了
带有两个输出单元的单层神经网络
其中
输出单元z1的计算公式如图所示
可以看到z1的计算跟
原先的z并没有区别
同理可以计算z2
为了表示权重与神经元的关系
可以用Wxy来表达一个权值
下标中的x代表
后一层神经元的序号
而y代表前一层神经元的序号
还可以更简洁的
用矩阵乘法来表达这两个公式
这个公式就是神经网络中
从前一层计算后一层的矩阵运算
与神经元模型不同
感知器中的权值是通过训练得到的
因此感知器类似一个逻辑回归模型
可以做简单的线性分类任务
图中显示了
在二维平面中感知器的分类效果
但Minsky用数学证明了
感知器的弱点
尤其是感知器对异或
这样的简单分类任务都无法解决
这时神经网络的研究陷入了冰河期
1986年
Hinton等人提出了反向传播算法
解决了两层神经网络
所需要的复杂计算量问题
从而带动了业界
使用两层神经网络研究的热潮
两层神经网络
除了包含一个输入层
一个输出层以外
还增加了一个中间层
中间层和输出层都是计算层
我们在单层神经网络的右边
新加一个层次
只含有一个节点
中间层a1(2) a2(2)的计算公式
与单层神经网络的计算方法一致
计算最终输出z的方式
是利用了中间层的a1(2) a2(2)
和第二个权值矩阵计算得到的
也可以在输出层增加节点
如果使用矩阵运算来
表达神经网络是很简洁的
而且也不会受到节点数增多的影响
因此神经网络的教程中
大量使用矩阵运算来进行描述
另外
在神经网络的除了输出层以外的
每个层次中都含有偏置单元
它本质上是
一个只含有存储功能
且存储值永远为一的单元
偏置单元与后一层的所有节点
都有连接
设这些参数值为向量b
称之为偏置
在考虑了偏置以后的
一个神经网络的矩阵如图所示
在两层神经网络中
使用平方函数sigmoid作为激活函数f
事实上
神经网络的本质就是
通过参数与激活函数来
拟合特征与目标之间的
真实函数关系
理论证明两层神经网络
可以无限逼近任意连续函数
从输入层到隐藏层时
数据发生了空间变换
也就是说两层神经网络中
隐藏层对原始的数据
进行了一个空间变换
使其可以被线性分类
然后输出层的决策分界画出了
一个线性分类分界线
对其进行分类
两层神经网络通过两层的
线性模型模拟了数据内
真实的非线性函数
因此
多层的神经网络的本质
就是复杂函数拟合
从两层神经网络开始
神经网络的研究人员
开始使用机器学习相关的技术
进行神经网络的训练
其目的就是使得参数
尽可能的与真实的模型逼近
具体的做法是这样的
首先给所有参数附上随机值
我们使用这些随机生成的
参数值来预测训练数据中的样本
样本的预测目标为yp
真实目标为y
那么可以定义一个loss值
这个值称之为损失
我们的目标就是
使对所有训练数据的损失和
尽可能的小
如何优化参数
能够让损失函数的值最小
这个问题就被转化为
一个优化问题
在神经网络模型中
由于结构复杂
需要使用反向传播算法
反向传播算法不一次计算
所有参数的梯度
而是从后往前
首先计算输出层的梯度
然后是第二个参数矩阵的梯度
接着是中间层的梯度
再然后是第一个参数矩阵的梯度
最后是输入层的梯度
计算结束以后
所要的两个参数矩阵的梯度
就都有了
反向传播算法
可以直观地理解为下图
梯度的计算
从后往前一层层反向传播
前缀E代表着相对导数的意思
两层神经网络
可以轻松解决异或问题
但是它仍然存在训练耗时太久
易陷入局部最优解
隐藏层的节点数
需要参数调节等问题
这使得其使用不太方便
90年代中期支持向量机算法诞生
它无需调参
高效 有全局最优解
基于以上种种理由
支持向量机算法迅速打败了
神经网络算法 成为了主流
神经网络的研究
再次陷入了冰河期
2006年
Hinton在science和相关期刊上
发表了论文
首次提出了深度信念网络的概念
深度信念网络有一个预训练的过程
这可以方便的让神经网络中的
权值找到一个接近最优解的值
之后再使用微调技术
来对整个网络进行优化训练
这两个技术的应用大幅度减少了
训练多层神经网络的时间
他给多层神经网络相关的学习方法
赋予了一个新名词深度学习
2012年
Hinton与他的学生在imagenet竞赛中
用多层的卷积神经网络
成功的对包含1000类别的
一百万张图片进行了训练
取得了分类错误率15%的好成绩
这个成绩
比第二名提高了近11个百分点
充分证明了
多层神经网络识别效果的优越性
在这之后
关于深度神经网络的
研究与应用不断涌现
在两层神经网络的输出层后面
继续添加层次
原来的输出层变为中间层
新加的层次地成为新的输出层
依照这样的方式
不断添加就可以得到多层神经网络
如图所示
公式推导跟两层神经网络类似
仅仅是加一个公式而已
增加更多的层次
可以更深入的表征特性
更有更强的函数模拟能力
随着网络层数增加
每一层对于前一层次的
抽象表示更深入
在神经网络中
每一层神经元学习到的
是前一层神经元值的更抽象的表示
例如
第一个隐藏层学习到的是边缘的特征
第二个隐藏层学习到的
是由边缘组成的形状的特征
第三个隐藏层
学习到的是由形状组成的图案的特征
最后的隐藏层
学到的是由图案组成的目标的特征
通过抽取更抽象的特征
来对事物进行区分
从而获得更好的区分与分类能力
更强的函数模拟能力
是由于随着层数的增加
整个网络的参数就越多
而神经网络其实本质
就是模拟特征与目标之间的
真实关系函数的方法
更多的参数意味着
其模拟的函数可以更加的复杂
可以有更多的容量
去拟合真正的关系
通过研究发现
在参数数量一样的情况下
更深的网络往往具有
比浅层的网络更好地识别效率
这点也在imagenet的
多次大赛中得到了证实
2019年3月27日
全球最大的
专业计算机协会ACM宣布
Hinton LeCun和Bengio
因其在神经网络方面的工作
赢得了2019年的图灵奖
目前
深度神经网络在人工智能界
占据统治地位
但凡有关人工智能的产业报道
必然离不开深度学习
好啦 这一节呢
我们就讲到这里
谢谢各位同学
-1.1 绪论（上）
--1.1绪论（上）
-1.2 绪论（下）
-第1章测试
-2.1 光照不良图像增强处理（上）
-2.2 光照不良图像增强处理（下）
-第2章习题
-3.1图像超分辨率重建技术概述
-3.2基于插值的图像超分辨率重建
-3.3基于深度学习的图像超分辨率重建之神经网络
-3.4基于深度学习的图像超分辨率重建
-3.5基础知识介绍
-3.6压缩感知与超分辨率重建
-3.7基于压缩感知字典学习的超分方法
-第3章测试一
-第3章测试二
-4.1引言-什么是HDR图像
-4.2 概述-HDR图像处理的研究内容
-4.3HDR图像获取—多曝光融合
-4.4色调映射基础
-第4章测试题
-5.1图像水印技术概述
-5.2图像单水印技术
-5.3图像双水印技术
-第5章测试题
-6.1图像检索概述
-6.2词袋(BOW)特征描述
-6.3VLAD特征编码
-6.4PCA降维
--6.4PCA降维
-7.1 监控视频编码的作用
-7.2 监控视频编码的标准
-7.3 监控视频编码标准
-第7章测试
-8.1运动目标检测
-8.2运动目标跟踪
-第8章测试题
-9.1高光谱图像基础知识
-9.2高光谱图像的应用
-9.3高光谱图像处理
-第9章测试题
-10.1现勘足迹的基本知识
-10.2现勘足迹提取方法
-10.3结构光测量技术概况
-10.4结构光提取原理
-10.5现勘三维现场重建技术
-10.6基于二维图像的三维现场重建
-10.7基于深度信息的三维现场重建
-10.8应用案例
--10.8应用案例
-第10章测试题
-11.1研究背景与意义
-11.2图像预处理技术
-11.3基于LBP纹理的鞋印检索
-11.4基于SIFT特征的鞋印检索
-第11章测试题
-12.1什么是案件的智能串并？
-12.2实现智能串并案的机遇与挑战
-12.3智能串并案的实现策略与方案
-12.4真实案件智能串并的实现
-第12章测试题
-13.1刑侦模拟画像概述
-13.2 刑侦模拟画像计算机辅助系统
-13.3刑侦模拟画像计算机辅助系统：两维三维画像辅助
-第13章测试题
