Video 5.3在线视频

大家好

在上一节

我们了解了什么是神经网络

在这个部分

我们将介绍神经网络的一些概念

人工神经网络 简称ANN

是由感知器组成的多层网络

人工神经网络有几种不同的类型

他们可以根据结构数据流使用的神经元及其密度

图层及其深度 激活过滤器 等等进行分类

他们在前馈神经网络的范围内讨论

这是ANN的最简单形式

数据从输入到输出仅沿一个方向传播

在这一形式当中隐藏层可能存在或不存在

输入和输出层被直接展示

基于此

ANN可以进一步分类

为单层或多层

前馈神经网络层数取决于功能的复杂性

它具有单向正向传播但没有逆向传播

权重是静态的

通过乘以权重的输入提供了激活功能

它们非常容易维护

并具备处理包含很多噪音数据的能力

前馈神经网络可以应用于简单分类领域

人脸识别 计算机视觉 语音识别等

卷积神经网络

卷积神经网络包含神经元的3维排列

来代替标准的二维数组

第一层称为卷积层

卷积层中的每个神经元

仅处理视野的一小部分信息

输入要素被纳入分批式过滤器

网络可以将图像拆分了解

并可以多次计算这些操作

完成完整的图像处理

包含一个或多个卷积层CNN的传播是单向的

然后进行池化 再转到完全连接的网络

如图所示对图像进行分类

在图中

镜头用于提取图像的某些部分

卷积神经网络可用于参数少的深度学习

与完全连接的层相比，需要更少的参数来学习

卷积神经网络在图片和视频识别

语义解析和释义检测中显示非常有效的结果

递归神经网络

在这种类型中

隐藏层保存其输出 用于未来的预测

输出成为其新输入的一部分

第一层通常是前馈神经网络

其次是递归神经网络层

里面有一些在上一个时间段

被记忆功能记住的信息

正向传播在这种情况下实施

它存储所需的信息供将来使用

如果预测错误

将会采用检查学习率来进行微调

使其逐渐增加

做出正确的预测

在反向传播期间

RNN的应用包括文本

语音处理图像标记器 情感分析翻译等

神经网络中激活函数的主要功能

是提供神经网络的非线性建模能力

它将加权和映射到输出

激活函数通常是非线性函数

添加激活函数后

神经网络具有分层非线性映射学习的能力

有很多不同类型的激活函数

S型函数

我们已经在第三章中看到了逻辑回归中的S型函数

当模型预测概率时使用S形函数

这称为逻辑S形函数

并使概率该值介于0和1之间

它作为激活函数很有用

当人们对概率图而不是输入参数的精确值感兴趣时

ReLU功能

ReLU的全名是整流线性单位

ReLU是常用的激活函数

此函数可以消除在人工神经网络中的负单位

这是用于深度神经网络的最受欢迎的激活函数

可以看出，当x小于0时

relu很难饱和

但是当x大于0时 没有饱和问题

因此

当x大于0时 relu可以保持渐变不变

从而减轻梯度消失问题

Softmax函数

另一个非常流行的激活函数是Softmax函数

Softmax输出属于一组特定类别的结果的概率

在数学中

Softmax函数是挤压K维向量的逻辑函数的一般化

任意实数值到实值的K维向量

在（0，1）范围内且总计为1

现在我们知道了神经网络的构造

让我们看看它是如何工作的

我们以交通摄像机的真实示例为例

识别在道路上超速驾驶车辆的车牌

图片本身为28 x 28像素

将图像作为输入素材来识别车牌

每个神经元都有一个数字

称为激活元

代表对应像素的从0到1的灰度值

—白色像素为1 黑色像素为0

每个神经元都亮着

当其激活率接近1时

阵列形式的像素被输入到输入层

如果图像大于28 x 28像素

我们必须缩小它

因为我们无法更改输入层的大小

在我们的例子中

我们将输入命名为X1 X2和X3

每个代表一个像素

然后输入层通过隐藏层的输入

连接被随机分配权重

权重与输入信号相乘

并给所有的数值增加了偏差

输入所得到的的加权和

作为激活函数的输入素材

决定从哪个节点进行特征提取

当信号在隐藏层中流动时

计算输入的加权总和

并馈入每一层的激活功能

来决定要触发的节点

将输出中的错误逆向传播

通过网络和权重进行调整以最小化错误率

这是通过成本函数计算出来的

我们不断调整权重

直到它们适合所有我们放入的不同的训练模型

然后将输出与原始结果进行比较

并进行多次迭代以达到最大精度

每次迭代每个互连的权重

根据误差进行调整

让我们看另一个例子

你有没有问过Siri一个问题

Siri准确回答

让我们了解

这个虚拟助手是如何完成语音识别的

考虑如下所示的神经网络

有输入 隐藏层和输出层在网络上

网络需要识别的句子是

现在几点了？

在这里 每个字作为声音的一种模式进入

句子被采样成离散的声波

让我们考虑第一个词:what

我们可以看到波形是根据每个字母分割的

现在我们将声波分开

将字母W分成较小的段

当我们分析字母“ W”时

振幅在声波中变化

如下所示

我们间隔收集值并形成一个数组

不同的字母出现了不同的幅度

然后我们输入振幅数组到输入层

把随机权重分配给输入层和隐藏层之间的每个连接元

我们总是从随机键开始

为权重分配一个预设值

这需要大量时间

训练模型时

权重乘以输入 进而增加偏差

以形成传递函数

将权重分配给隐藏层之间的互连

传递函数的输出作为输入激活函数

一个隐藏层的输出成为下一个隐藏层的输入

声学模型包含一句话每种不同声音的统计表示

我们开始建立这些声学模型

当这些层将它们分开时

他们将开始学习不同模型代表不同字母的含义

词典包含对于每个单词的不同发音的数据

在词典末尾我们最终得到ABCD

并识别其中的不同字母

最后我们得到了输出字母

遵循相同的过程

对于每个单词和字母

神经网络识别你说的句子或你问的问题

术语“声学模型”和“词典”

特定于理解语音的领域

处理其他输入格式时我们将有不同的标签

但过程将保持不变

本节到此结束

感谢您的收看 欢迎进入下一节