3.3基于深度学习的图像超分辨率重建之神经网络在线视频

各位同学大家好

这一讲我们来讲

基于深度学习的

图像超分辨率重建之神经网络

我们主要介绍

四部分的内容神经元

单层神经网络 两层神经网络

以及多层神经网络

人脑是如何工作的

人类能否制作模拟人脑的

人工神经元

多少年以来

人们从医学 生物学 生理学

哲学 信息学 计算机科学

认知学 组织协同学等

各个角度企图认识并解答上述问题

在寻找上述问题答案

的研究过程中

逐渐形成了一个

新兴的多学科交叉技术领域

称之为神经网络

这种网络依靠系统的复杂程度

通过调整内部大量节点之间

相互连接的关系

从而达到处理信息的目的

它是深度学习的基础

可以用于数据压缩，图像处理

信号检测 通信网优化等众多领域

1904年

生物学家就已经知晓了

神经元的组成结构

一个神经元通常具有多个树突

主要用来接受传入信息

而轴突只有一条

轴突尾端有许多轴突末梢

可以给其他多个神经元传递信息

轴突末梢跟其他神经元的树突

产生连接

从而传递信号

这个连接的位置

在生物学上叫做突触

1943年

心理学家和数学家参考了

生物神经元的结构

发表了抽象的神经元模型

神经元模型是一个

包含输入输出与计算功能的模型

输入可以类比为神经元的树突

而输出可以类比为神经元的轴突

计算则可以类比为细胞核

中间的箭头线称为连接

每一个连接上都有一个权重

一个神经网络的训练算法

就是让权重的值调整到最佳

以使得整个网络的预测效果最好

如果我们将神经元图中的

所有变量用符号表示

并且写出输出的计算公式的话

就是如下图所示

也可以将神经元的画法进行扩展

便于后续画复杂的网络

1943年发布的神经元模型虽然简单

但已经建立了神经网络的基础

但在该模型中

权重的值都是预先设置的

因此不能学习

1949年

心理学家赫布提出了学习率

认为人脑神经细胞的突触

也就是连接的强度是可以变化的

于是计算科学家们开始考虑

用调整权值的方法来让机器学习

这为后面的学习算法奠定了基础

1958年首个可以学习的

人工神经网络感知器诞生了

许多学者和科研机构

纷纷投入到神经网络的研究中

这段时间直到1969年才结束

这个时期

可以看做神经网络的第一次高潮

在感知器中有两个层次

分别是输入层和输出层

输入层里的输入单元只负责传输数据

不做计算

输出层里的输出单元

则需要对前面一层的输入进行计算

我们把需要计算的层次称之为计算层

并把拥有一个计算层的网络

称之为单层神经网络

下图显示了

带有两个输出单元的单层神经网络

其中

输出单元z1的计算公式如图所示

可以看到z1的计算跟

原先的z并没有区别

同理可以计算z2

为了表示权重与神经元的关系

可以用Wxy来表达一个权值

下标中的x代表

后一层神经元的序号

而y代表前一层神经元的序号

还可以更简洁的

用矩阵乘法来表达这两个公式

这个公式就是神经网络中

从前一层计算后一层的矩阵运算

与神经元模型不同

感知器中的权值是通过训练得到的

因此感知器类似一个逻辑回归模型

可以做简单的线性分类任务

图中显示了

在二维平面中感知器的分类效果

但Minsky用数学证明了

感知器的弱点

尤其是感知器对异或

这样的简单分类任务都无法解决

这时神经网络的研究陷入了冰河期

1986年

Hinton等人提出了反向传播算法

解决了两层神经网络

所需要的复杂计算量问题

从而带动了业界

使用两层神经网络研究的热潮

两层神经网络

除了包含一个输入层

一个输出层以外

还增加了一个中间层

中间层和输出层都是计算层

我们在单层神经网络的右边

新加一个层次

只含有一个节点

中间层a1(2) a2(2)的计算公式

与单层神经网络的计算方法一致

计算最终输出z的方式

是利用了中间层的a1(2) a2(2)

和第二个权值矩阵计算得到的

也可以在输出层增加节点

如果使用矩阵运算来

表达神经网络是很简洁的

而且也不会受到节点数增多的影响

因此神经网络的教程中

大量使用矩阵运算来进行描述

另外

在神经网络的除了输出层以外的

每个层次中都含有偏置单元

它本质上是

一个只含有存储功能

且存储值永远为一的单元

偏置单元与后一层的所有节点

都有连接

设这些参数值为向量b

称之为偏置

在考虑了偏置以后的

一个神经网络的矩阵如图所示

在两层神经网络中

使用平方函数sigmoid作为激活函数f

事实上

神经网络的本质就是

通过参数与激活函数来

拟合特征与目标之间的

真实函数关系

理论证明两层神经网络

可以无限逼近任意连续函数

从输入层到隐藏层时

数据发生了空间变换

也就是说两层神经网络中

隐藏层对原始的数据

进行了一个空间变换

使其可以被线性分类

然后输出层的决策分界画出了

一个线性分类分界线

对其进行分类

两层神经网络通过两层的

线性模型模拟了数据内

真实的非线性函数

因此

多层的神经网络的本质

就是复杂函数拟合

从两层神经网络开始

神经网络的研究人员

开始使用机器学习相关的技术

进行神经网络的训练

其目的就是使得参数

尽可能的与真实的模型逼近

具体的做法是这样的

首先给所有参数附上随机值

我们使用这些随机生成的

参数值来预测训练数据中的样本

样本的预测目标为yp

真实目标为y

那么可以定义一个loss值

这个值称之为损失

我们的目标就是

使对所有训练数据的损失和

尽可能的小

如何优化参数

能够让损失函数的值最小

这个问题就被转化为

一个优化问题

在神经网络模型中

由于结构复杂

需要使用反向传播算法

反向传播算法不一次计算

所有参数的梯度

而是从后往前

首先计算输出层的梯度

然后是第二个参数矩阵的梯度

接着是中间层的梯度

再然后是第一个参数矩阵的梯度

最后是输入层的梯度

计算结束以后

所要的两个参数矩阵的梯度

就都有了

反向传播算法

可以直观地理解为下图

梯度的计算

从后往前一层层反向传播

前缀E代表着相对导数的意思

两层神经网络

可以轻松解决异或问题

但是它仍然存在训练耗时太久

易陷入局部最优解

隐藏层的节点数

需要参数调节等问题

这使得其使用不太方便

90年代中期支持向量机算法诞生

它无需调参

高效 有全局最优解

基于以上种种理由

支持向量机算法迅速打败了

神经网络算法 成为了主流

神经网络的研究

再次陷入了冰河期

2006年

Hinton在science和相关期刊上

发表了论文

首次提出了深度信念网络的概念

深度信念网络有一个预训练的过程

这可以方便的让神经网络中的

权值找到一个接近最优解的值

之后再使用微调技术

来对整个网络进行优化训练

这两个技术的应用大幅度减少了

训练多层神经网络的时间

他给多层神经网络相关的学习方法

赋予了一个新名词深度学习

2012年

Hinton与他的学生在imagenet竞赛中

用多层的卷积神经网络

成功的对包含1000类别的

一百万张图片进行了训练

取得了分类错误率15%的好成绩

这个成绩

比第二名提高了近11个百分点

充分证明了

多层神经网络识别效果的优越性

在这之后

关于深度神经网络的

研究与应用不断涌现

在两层神经网络的输出层后面

继续添加层次

原来的输出层变为中间层

新加的层次地成为新的输出层

依照这样的方式

不断添加就可以得到多层神经网络

如图所示

公式推导跟两层神经网络类似

仅仅是加一个公式而已

增加更多的层次

可以更深入的表征特性

更有更强的函数模拟能力

随着网络层数增加

每一层对于前一层次的

抽象表示更深入

在神经网络中

每一层神经元学习到的

是前一层神经元值的更抽象的表示

例如

第一个隐藏层学习到的是边缘的特征

第二个隐藏层学习到的

是由边缘组成的形状的特征

第三个隐藏层

学习到的是由形状组成的图案的特征

最后的隐藏层

学到的是由图案组成的目标的特征

通过抽取更抽象的特征

来对事物进行区分

从而获得更好的区分与分类能力

更强的函数模拟能力

是由于随着层数的增加

整个网络的参数就越多

而神经网络其实本质

就是模拟特征与目标之间的

真实关系函数的方法

更多的参数意味着

其模拟的函数可以更加的复杂

可以有更多的容量

去拟合真正的关系

通过研究发现

在参数数量一样的情况下

更深的网络往往具有

比浅层的网络更好地识别效率

这点也在imagenet的

多次大赛中得到了证实

2019年3月27日

全球最大的

专业计算机协会ACM宣布

Hinton LeCun和Bengio

因其在神经网络方面的工作

赢得了2019年的图灵奖

目前

深度神经网络在人工智能界

占据统治地位

但凡有关人工智能的产业报道

必然离不开深度学习

好啦 这一节呢

我们就讲到这里

谢谢各位同学