当前课程知识点:Introduction to Artificial Intelligence > Chapter 6 Convolutional Neural Network > 6.4 Classical Convolutional Neural Network > Video 6.4
返回《Introduction to Artificial Intelligence》慕课在线视频课程列表
返回《Introduction to Artificial Intelligence》慕课在线视频列表
大家好
我们已经学习了卷积神经网络的基本架构
在本节中,我们将讨论卷积网络的
常用架构
正如我们看到的
几乎所有的CNN架构
都遵循相同的通用设计原理
即依次将卷积层
应用于输入
定期对空间维度进行下采样
同时增加特征图的数量
经典的网络体系结构
仅由简单的堆叠的
卷积层和池化层组成
现代体系结构
探索了新的创新的方式
来构建卷积层
从而可以提高学习效率
几乎所有这些架构
都基于整个网络中使用的
可重复单元
经典架构包括
LeNet-5
AlexNet
VGG 16
Inception 和 ResNet
这些架构可作为一般设计指南
机器学习从业人员将根据这些准则
进行调整适应
以解决各种任务
Yann LeCun于1988年建立了第一个
卷积神经网络
命名为LeNet
LeNet-5模型
是他在1998年
开发的
t用于识别手写数字
以识别邮政服务中的
邮政编码
这个开创性模型在很大程度上
引入了我们今天所知的
卷积神经网络
卷积层为每个过滤器
使用前一层通道的
子集
以减少计算量
并强制打破
网络中的对称性
子采样层
使用平均池化的形式
LeNet-5的输入
是一张32×32灰度图像
该图像穿过
第一卷积层
带有6个特征图
或大小
为5×5
步幅为1的过滤器
图像尺寸
从
32x32x1
更改为
28x28x6
然后LeNet-5应用
平均池化层
或子采样层
过滤器大小
为2×2
然后步幅为2
结果图像尺寸
将减小为
14x14x6
接下来,第二个卷积层
具有16个
尺寸为
5×5
步幅为1的特征图
在这一层中
只有16个特征图中的10个
被连接到
上一层的
6个特征图
第四层S4
仍然是
平均池化层
过滤器镜大小
为2×2
步幅为2
该层与第二层S2相同
不同之处在于它具有16个特征图
因此输出将减小为
5x5x16
第五层C5
是完全连接的卷积层
具有120个特征图
每个特征图的大小
为1×1
C5中的120个单元中的
每一个
都连接到
第四层S4中
的所有400个节点
第六层是具有84个单元的
完全连接层
最后有一个完全连接的软最大输出层ŷ
其10个可能的值
对应于
0到9之间的数字
AlexNet
由Alex Krizhevsky等人开发
在2012年
参加ImageNet竞赛
通用体系结构与LeNet-5非常相似
尽管该模型要大得多
尽管该模型要大得多
2012年ImageNet竞赛中
获得第一名
这使许多计算机视觉团队都深信
应该认真研究
计算机视觉任务的深度学习
AlexNet的主要功能是
它与池化操作重叠
以减小网络的大小
它具有五个卷积层和三个完全连接层
并且在每个卷积层
和完全连接层之后应用ReLu功能
它使用ReLu作为其激活功能
从而可以
加快训练速度并提高准确性
它使用的正则化技术
是一种
出口
接下来,我们将考虑提取架构
来看看架构之间有什么区别
让我们分析一下
架构设计
VGGNet
由牛津大学
视觉几何小组
创建
它是ImageNet -2014挑战赛的
亚军
它主要用作
特征提取算法
它具有许多过滤器
是用于对象检测的
单次检测器的
基本模型
2014年
Google的研究人员
引入了
Inception网络
该网络在2014年
ImageNet竞赛中的
分类和检测挑战中排名第一
inception模块
存在于inception
模型中架构中的
GoogleNet1图片
该网络使用了受LeNet启发的
卷积神经网络
它的体系结构包括
网络中间的1×1卷积
它使用全局平均池
代替完全连接的层
Inception有四种不同型号
V1-V4
ResNet赢得了2015年的
ILSVRC大奖
这是第一个超越人类水平精度的模型
它是最深的网络
具有152层
该模型的新颖之处在于
它引入了
跳过连接
并具有重批标准化功能
ResNet将
消失的梯度问题
降至最低
ResNet将
消失的梯度问题
降至最低
当权重的变化非常低时
消失的梯度就会发生
以至于误差
不会因
深度学习模型中存在
大量的层而反向传播
我们已经研究了各种模型架构
建议仔细阅读一些
相关的论文
以更好地理解它们
这一节我们就讲到这
感谢收看,欢迎进入下一节的学习
-1.1 What is artificial intelligence
--Exercise 1.1
-1.2 The History of artificial intelligence
--Exercise 1.2
-1.3 Applications of Artificial Intelligence
--Exercise 1.3
-1.4 Machine Learning and Deep Learning
--Exercise 1.4
-2.1 What is Machine Learning
-2.2 Supervised Learning
-2.3 Unsupervised Learning
-2.4 Construction of Development Environment
-3.1 What is Regression
--Exercise 3.1
-3.2 Linear Regression
--Exercise 3.2
-3.3 Logistic Regression
--Exercise 3.3
-3.4 Practical Case
-4.1 What is Classification
-4.2 Naive Bayes
-4.3 Support Vector Machine
-4.4 Practical Case
-5.1 Introduction to Deep Learning
--Exercise 5.1
-5.2 What is Neural Network
--Exercise 5.2
-5.3 Neural Network Basics
--Exercise 5.3
-5.4 Practical Case
-6.1 What is Convolutional Neural Network
-6.2 Convolution Layer
-6.3 Pooling Layer
-6.4 Classical Convolutional Neural Network
-7.1 What is Computer Vision
--Exercise 7.1
-7.2 Image Classification
--Exercise 7.2
-7.3 Introduction to TensorFlow
--Exercise 7.3
-7.4 Practical Case
-8.1 What is Natural Language Processing
-8.2 Basics of NLP
-8.3 Recurrent Neural Network
-8.4 Practical Case