深度学习在线视频

接下来我们学习深度学习
གཤམ་ནས་ང་ཚོས་གཏིང་ཟབ་སློབ་སྦྱོང་ལ་སློབ་སྦྱོང་བྱ།

我们从人工神经元 人工神经网络 卷积神经网络
ང་ཚོས་མིས་བཟོས་དབང་རྩའི་གཞི་རྒྱུ་དང་མིའི་བཟོས་དབང་རྩའི་དྲ་རྒྱ། དྲིལ་བསགས་དབང་རྩའི་དྲ་རྒྱ།

循环神经网络四个方面来进行介绍
རེས་འཁོར་དབང་རྩའི་དྲ་རྒྱ་བཅས་ཕྱོགས་བཞི་ནས་ངོ་སྤྲོད་བྱེད་པར་བྱ།

首先是人工神经元
ཐོག་མར་མིས་བཟོས་དབང་རྩའི་གཞི་རྒྱུ།

那我们这个图展示的是人工神经元
འོ་ན་ང་ཚོའི་པར་འདིའི་མངོན་པ་ནི་མིས་བཟོས་དབང་རྩའི་གཞི་རྒྱུ་ཡིན།

这个是有两个神经元构成
འདི་ནི་གཞི་རྒྱུ་གཉིས་ཀྱིས་གྲུབ་པ་ཡིན།

左边的是一个人工神经元
གཡོན་ཕྱོགས་ནི་མིས་བཟོས་དབང་རྩའི་གཞི་རྒྱུ་གཅིག་ཡིན་ལ།

右边的是一个人工神经元
གཡོས་ཕྱོགས་ནི་མིས་བཟོས་དབང་རྩའི་གཞི་རྒྱུ་གཅིག་ཡིན།

那么人工神经元的左边这个神经元
འོ་ན་མིས་བཟོས་དབང་རྩའི་གཞི་རྒྱུའི་གཡོན་ཕྱོགས་ཀྱི་དབང་རྩའི་གཞི་རྒྱུ་འདི་ནི་

我们说他是由细胞体还有毛细状的突起来构成
ང་ཚོས་བཤད་ན་ཁོ་ནི་ཕྲ་ཕུང་གཟུགས་ད་དུང་ཕྲ་སྦུག་དབྱིབས་འབུར་བ་ལས་གྲུབ་པ་ཡིན།

而这个毛细状的突起我们又把他分为树突和轴突
ཡང་ཕྲ་སྦུག་དབྱིབས་འབུར་བ་འདི་ང་ཚོས་ཁོ་གེལ་འབུར་དང་མདའ་འབུར་གཉིས་སུ་དབྱེ་ཡོད།

那对于一个神经元来说
འོ་ན་དབང་རྩའི་གཞི་རྒྱུ་ཞིག་ལ་མཚོན་ནས་བཤད་ན།

他的树突主要的作用输入信息
ཁོ་ཡི་གེལ་འབུར་གྱི་ནུས་བ་གཙོ་བོ་ནི་ཆ་འཕྲིན་ནང་འཇུག་ཡིན་ལ་

而且这个树突对输入的信息
ད་དུང་གེལ་འབུར་གྱིས་ནང་འཇུག་བྱས་པའི་ཆ་འཕྲིན་ལ་

有个线性的增强或者抑制的作用
ཐིག་གཤིས་འཕར་བའམ་ཚོད་འཛིན་གྱི་ནུས་པ་ལྡན།

细胞体对于所有的树突输入的信息进行求和
ཕྲ་ཕུང་གཟུགས་ཀྱིས་གེལ་འབུར་ནང་འཇུག་གི་ཆ་འཕྲིན་ཚང་མ་ལ་བསྡོམས་རྩིས་རྒྱག་པ་དང་།

然后通过轴突输出
རྗེས་སུ་མདའ་འབུར་བརྒྱུད་ནས་ཕྱིར་འདོན་བྱེད།

那么一个细胞神经元的轴突
འོ་ན་ཕྲ་ཕུང་དབང་རྩའི་གཞི་རྒྱུ་གཅིག་གི་མདའ་འབུར་དང་

和另外一个神经元的树突之间
དབང་རྩའི་གཞི་རྒྱུ་གཞན་པ་ཞིག་གི་གེལ་འབུར་བར་ལ་

有一个连接的地方我们把他叫突触
སྦྲེལ་མཐུད་བྱེད་པའི་གནས་ལ་ང་ཚོས་དེ་ལ་འབུར་འབྲེལ་ཟེར།

突触这个地方两个树突和轴突
འབུར་འབྲེལ་གྱི་གནས་འདི་ནི་གེལ་འབུར་དང་མདའ་འབུར་གཉིས་ནི་

其实不是真正的连接
དོན་དངོས་སུ་སྦྲེལ་བ་མིན་པར་

而是通过电解质的连接
དེ་ནི་གློག་འབྱེད་རྫས་ཀྱི་སྦྲེལ་མཐུད་བརྒྱུད་པ་རེད།

那么这个电解质他对轴突输出的信息
འོ་ན་གློག་འབྱེད་རྫས་འདིས་མདའ་འབུར་གྱི་ཕྱིར་འདོན་དང་ཆ་འཕྲིན་ལ་

有个非线性的增强或者抑制的作用
ཐིག་གཤིས་མིན་པའི་འཕར་སྣོན་ཡང་ན་ཚོད་འཛིན་གྱི་ནུས་པ་ཐོན་ཡོད།

我们这个图是对由人工神经元来模拟
ང་ཚོའི་པར་འདི་ནི་མིས་བཟོས་དབང་རྩའི་གཞི་རྒྱུ་ཡིས་ལད་ཟློས་

或者是模仿生物神经元
ཡང་ན་སྐྱེ་དངོས་དབང་རྩའི་གཞི་རྒྱུ་ལ་ལད་ཟློས་བྱེད་པ་དེ་ཡིན།

这个图的左边像这个三个圆圈代表的是树突
པར་འདིའི་གཡོན་ཕྱོགས་ནི་གོར་ཐིག་གསུམ་གྱིས་གེལ་འབུར་མཚོན་པ་དང་

x1 x2 x3分别代表的是从树突输入的信息
x1 x2 x3རེ་རེ་བཞིན་མཚོན་པ་ནི་གེལ་འབུར་ནང་འཇུག་གི་ཆ་འཕྲིན།

然后下面有三个有向的箭头
དེ་ནས་གཤམ་གྱི་ཁ་ཕྱོགས་ཡོད་པའི་མདའ་མགོ་ཡིས་

指向的SUM这个地方是指的是细胞体
སྟོན་པའི་SUMཡི་གནས་འདི་ཡིས་ཕྲ་ཕུང་གཟུགས་མཚོན་ཡོད།

这个神经元的输入的信息
དབང་རྩའི་གཞི་རྒྱུ་འདིའི་ནང་འཇུག་གི་ཆ་འཕྲིན་ལ་

我们说他有一个非线性的增强或者抑制作用
ང་ཚོས་བཤད་རྒྱུར་ཁོ་ལ་ཐིག་གཤིས་མིན་པའི་འཕར་སྣོན་ཡང་ན་ཚོད་འཛིན་གྱི་ནུས་པ་ལྡན།

这种增强或者抑制作用
འདི་བལྟ་བུའི་འཕར་སྣོན་ཡང་ན་ཚོད་འཛིན་ནུས་པ་ནི་

我们用权值w1 w2 w3来表示
ང་ཚོས་དབང་ཐང་（权值）w1 w2 w3ཡིས་མཚོན་ཡོད།

右边的函数f(x)就是代表我们刚才的
གཡས་ཕྱོགས་ཀྱི་རྟེན་འབྱུང་གྲངས་f(x)ཡིས་མཚོན་པ་ནི་གོང་དུ་ང་ཚོའི་

生物神经元突触这个地方对于轴突输入的信息
སྐྱེ་དངོས་དབང་རྩའི་གཞི་རྒྱུུ་འབུར་འབྲེལ་འདིའི་གནས་ཀྱིས་མདའ་འབུར་ནང་འཇུག་གི་ཆ་འཕྲིན་ཡིན།

他进行非线性的增强或者抑制
ཁོ་ཡིས་ཐིག་གཤིས་མིན་པའི་འཕར་སྣོན་ཡང་ན་ཚོད་འཛིན་བྱེད་བཞིན་ཡོད།

公式3-1是人工神经元的数学表示
སྤྱི་འགྲོས3-1ནི་མིས་བཟོས་དབང་རྩའི་གཞི་རྒྱུའི་གྲངས་རིགས་མཚོན་པ་ཡིན།

其中xi表示第i个树突的输入
དེ་ལས་xiཡིས་ཨང་iཔ་ཡི་གེལ་འབུར་གྱི་ནང་འཇུག་མཚོན་པ་དང་།

wi是第i个树突对输入信号的作用
wiནི་ཨང་iཡི་མདའ་འབུར་གྱིས་ནང་འཇུག་ཆ་འཕྲིན་གྱི་ནུས་པ་མཚོན་ཡོད།

∑i表示细胞体对所有的树突输入的信号的求和
∑iཡིས་ཕྲ་ཕུང་གཟུགས་ཀྱིས་གེལ་འབུར་ནང་འཇུག་གི་བརྡ་རྟགས་ཀྱི་བསྡོམས་རྩིས་རྒྱག་བྱེད་བཞིན་པ་མཚོན།

而这个f表示的突触对轴突输出的信号的
fའདི་ཡིས་འབུར་འབྲེལ་གྱིས་མདའ་འབུར་ཕྱིར་འདོན་གྱི་

抑制或者增强
བརྡ་རྟགས་ཀྱི་ཚོད་འཛིན་ཡང་ན་འཕར་སྣོན་མཚོན་པ་ཡིན།

因为他是一个非线性的抑制或者增强
དེ་བས་ཁོ་ནི་ཐིག་གཤིས་མིན་པའི་ཚོད་འཛིན་དང་འཕར་སྣོན་ཞིག་ཡིན།

所以我们用一般的函数f来表示
དེའི་སྟབས་ཀྱིས་ང་ཚོས་སྤྱིར་བཏང་གི་རྟེན་འབྱུང་གྲངས་fབཀོལ་ནས་མཚོན་པ་ཡིན།

下面我们看人工神经网络
གཤམ་ནས་ང་ཚོས་མིས་བཟོས་དབང་རྩའི་དྲ་རྒྱ་ལ་བལྟ།

前面我们介绍了人工神经元
སྔོན་ནས་ང་ཚོས་མིས་བཟོས་དབང་རྩའི་གཞི་རྒྱུ་ངོ་སྤྲོད་བྱས་ཟིན།

那么人工神经网络就是由人工神经元构成的网络
འོ་ན་མིས་བཟོས་དབང་རྩའི་དྲ་རྒྱ་ནི་མིས་བཟོས་དབང་རྩའི་གཞི་རྒྱུས་གྲུབ་པའི་དྲ་རྒྱ་ཡིན།

这是一个简单的一个人工神经网络的示意图
འདི་ནི་སྟབས་བདེའི་མིས་བཟོས་དབང་རྩའི་དྲ་རྒྱ་མཚོན་པའི་རི་མོ་ཞིག་ཡིན།

他是由左 中 右三层来构成
ཁོ་ནི་གཡོན དཀྱིལ གཡོས་རིམ་པ་གསུམ་གྱིས་གྲུབ་པ་ཡིན།

其中的左边这一层它的主要作用
དེའི་ནང་གི་གཡོན་ཕྱོགས་ཀྱི་རིམ་པ་དེའི་ནུས་པ་གཙོ་བོ་ནི་

对于网络来说输入信息
དྲ་རྒྱའི་ངོས་ཐད་ནས་བཤད་ན་མང་ཆ་འཕྲིན་ནང་འཇུག་ཡིན།

所以我们把他这一层的网络叫做输入层
དེ་བས་ང་ཚོས་རིམ་པ་འདིའི་དྲ་རྒྱ་ལ་ནང་འཇུག་རིམ་པ་ཟེར།

最右边这一层他主要是把网络的信息进行输出
ཆེས་གཡས་ཕྱོགས་ཀྱི་རིམ་པ་འདིའི་ནུས་པ་ནི་གཙོ་བོ་དྲ་རྒྱའི་ཆ་འཕྲིན་ཕྱིར་འདོན་བྱེད་རྒྱུུ་དེ་རེད།

我们把他叫输出层
ང་ཚོས་ཁོ་ལ་ཕྱིར་འདོན་རིམ་པ་ཟེར།

中间这一层我们把他叫隐藏层
དཀྱིལ་གྱི་རིམ་པ་འདི་ལ་ང་ཚོས་ཁོ་ལ་གབ་པའི་རིམ་པ་ཟེར།

这个图里面每一层的节点之间他是没有连接
རི་མོ་འདིའི་ནང་དུ་རིམ་པ་རེ་རེའི་ཚིགས་ཚེག་བར་སྦྲེལ་མེད་པ་དང་

但是同一层和下一层之间他是有连接
འོན་ཀྱང་རིམ་པ་འདྲ་མཚུངས་དང་རིམ་པ་རྗེས་མའི་བར་ལ་སྦྲེལ་ཡོད།

而且信号是从左边向右边流动
འོན་ཀྱང་བརྡ་རྟགས་ནི་གཡོན་ཕྱོགས་ནས་གཡས་ཕྱོགས་སུ་འགུལ་སྐྱོད་བྱེད།

人工神经网络有三个要素
མིའི་བཟོས་དབང་རྩའི་དྲ་རྒྱ་ལ་རྒྱུ་རྐྱེན་གཙོ་བོ་གསུམ་ཡོད།

分别是激活函数 网络的结构和学习规则
སོ་སོ་ནི་གྲུང་སྐུལ་རྟེན་འབྱུང་གྲངས། དྲ་རྒྱའི་གྲུབ་ཚུལ་དང་སློབ་སྦྱོང་སྒྲིག་སྲོལ།

这三个要素每一个有变化或者不同
རྒྱུ་རྐྱེན་གཙོ་བོ་སོ་སོར་འགྱུར་ལྡོག་དང་མི་འདྲ་བ་ཡོད་པས།

那就会得到不同的神经网络
དེ་བས་མི་འདྲ་བའི་དབང་རྩའི་དྲ་རྒྱ་རེ་ཐོབ་ཀྱིན་ཡོད།

我们刚才提到不同的激活函数
ང་ཚོས་སྔོན་ལ་གླེང་ཟིན་པའི་གྲུང་སྐུལ་རྟེན་འབྱུང་གྲངས་མི་འདྲ་བ་ནི་

是表示了不同的神经网络
དབང་རྩའི་དྲ་རྒྱ་མི་འདྲ་བ་མཚོན་གྱིན་ཡོད་ལ།

所以我们下面看一些激活函数
དེ་བས་ང་ཚོས་གཤམ་ནས་གྲུང་སྐུལ་རྟེན་འབྱུང་གྲངས་འགའ་ལ་བལྟ་བར་བྱ།

公式3-2表示的是一个Sigmoid函数
སྤྱི་འགྲོས་3-2ནི་Sigmoidརྟེན་འབྱུང་གྲངས་ཤིག་མཚོན་གྱིན་ཡོད།

这是一个Sigmoid函数的表达式
འདི་ནི་Sigmoidརྟེན་འབྱུང་གྲངས་ཀྱི་མཚོན་ཚུལ་ཞིག་ཡིན།

右边这个图3-3是Sigmoid函数的函数曲线
གཡས་ཕྱོགས་ཀྱི་རི་མོ་3-3ནི་Sigmoidརྟེན་འབྱུང་གྲངས་ཀྱི་རྟེན་འབྱུང་གྲངས་ཀྱི་འཁྱོག་ཐིག་ཡིན།

这个函数他的自变量的取值范围
རྟེན་འབྱུང་གྲངས་འདིའི་རང་འགྱུར་ཚད་ཀྱི་གྲངས་ཐང་ལེན་ཁོངས་ནི་

是从负无穷到正无穷
མོ་ཚད་མེད་ནས་ཕོ་ཚད་མེད་ཡིན།

他的函数的取值是从0到1
ཁོ་ཡི་རྟེན་འབྱུང་གྲངས་ཀྱི་གྲངས་ཐང་ནི་0ནས་1ཡིན།

当自变量从0向正无穷变化或者增大的时候
རང་འགྱུར་ཚད་དེ་0ནས་ཕོ་ཚད་མེད་ཀྱི་ཕྱོགས་སུ་འགྱུར་བའམ་ཇེ་ཆེར་འགྲོ་བའི་སྐབས་སུ་

函数值很快趋向于1
རྟེན་འབྱུང་གྲངས་ཀྱི་གྲངས་ཐང་ནི་མྱུར་དུ་1ལ་ཕྱོགས་ཡོད།

而当这个自变量从0减少到负无穷
རང་འགྱུར་ཚད་0ཇེ་ཉུང་སོང་ནས་མོ་ཚད་མེད་ཡང་ན་

或者向负无穷减小的时候
མོ་ཚད་མེད་ཀྱི་ཕྱོགས་སུ་ཇེ་ཉུང་འགྲོ་བའི་སྐབས་སུ་

函数值很快趋近于0
རྟེན་འབྱུང་གྲངས་མྱུར་དུ་0དང་ཐག་ཇེ་ཉེ་རེད།

这个图公式3-3是另外一个激活函数
སྤྱི་འགྲོས་ཀྱི་རི་མོ་3-3འདི་ནི་གྲུང་སྐུལ་རྟེན་འབྱུང་གྲངས་གཞན་པ་ཞིག་ཡིན།

我们把他叫做双曲正切函数
ང་ཚོས་ཁོ་ལ་འཁྱོག་ཟུང་དྲང་ཕྲད་རྟེན་འབྱུང་གྲངས་ཟེར།

这个函数的表达式是一个分式
རྟེན་འབྱུང་གྲངས་འདིའི་མཚོན་ཚུལ་ནི་སྤྱི་འགྲོས་གཞན་པ་ཞིག་ཡིན།

分式上面是一个指数ez减去
སྤྱི་འགྲོས་ཀྱི་ཐོག་མ་ནི་གཏད་གྲངས་ezནས་

另外一个指数函数e-z
གཏད་གྲངས་གཞན་པ་e-zའཕྲི་བ་རེད།

他的分母是ez加上ez的ez次方
ཁོ་ཡི་མ་ཆ་ནི་ezཡི་ཐོག་ལ་ezཡི་ཐེངས་ezབསྒྱུར་རེད།

右边的图3-4是这个函数的函数曲线
གཡས་ཕྱོགས་ནི་ཀྱི་རི་མོ་3-4ནི་རྟེན་འབྱུང་གྲངས་འདིའི་རྟེན་འབྱུང་གྲངས་ཀྱི་འཁྱོག་ཐིག་ཡིན།

这个函数他的自变量是从
རྟེན་འབྱུང་གྲངས་ཁོའི་རང་འགྱུར་ཚད་ནི་མོ་ཚད་མེད་ནས་

同样从负无穷变化到正无穷
འགྱུར་ཏེ་ཕོ་ཚད་མེད་དང་གཅིག་མཚུངས་རེད།

那么他的函数值是从-1到1
འོ་ན་ཁོ་ཡི་རྟེན་འབྱུང་གྲངས་ཐང་ནི་-1ནས་1ཡིན།

当自变量从0增长到正无穷的时候
རང་འགྱུར་ཚད་0ནས་འཕར་ཏེ་ཕོ་ཚད་མེད་ཀྱི་སྐབས་སུ་

函数值很快趋近于1
རྟེན་འབྱུང་གྲངས་ཐང་མྱུར་དུ་1དང་བར་ཐག་ཇེ་ཉེ་ཡིན།

而当自变量从0减小到负无穷的时候
ཟློག་ནས་རང་འགྱུར་ཚད་0ནས་ཇེ་ཉུང་དུ་སོང་ནས་མོ་ཚད་མེད་ཀྱི་སྐབས་སུ་

函数值很快趋近于-1
རྟེན་འབྱུང་གྲངས་ཀྱི་གྲངས་ཐང་མྱུར་དུ་-1དང་ཐག་ཇེ་ཉེ་རེད།

那么刚才我们提到不同的网络连接方式
འོ་ན་ད་གིན་ང་ཚོས་གླེང་བའི་དྲ་རྒྱའི་སྦྲེལ་ཐབས་མི་འདྲ་བ་ལས་

就得到不同的网络
དྲ་རྒྱ་མི་འདྲ་བ་ཐོབ་ཐུབ།

我们图3-6是一种网络
ང་ཚོས་རི་མོ་3-6ནི་དྲ་རྒྱ་རིགས་ཤིག་ཡིན།

我们把他叫做Hopfield网络
ང་ཚོས་ཁོ་ལ་Hopfieldདྲ་རྒྱ་ཟེར།

对于Hopfield网络来说他有这样一个特点
Hopfieldདྲ་རྒྱ་ལ་བལྟས་ནས་བཤད་ན་ཁོ་ལ་ཁྱད་ཆོས་འདི་འདྲ་ཞིག་ཡོད།

对于每一个神经元来说他有一个输入有一个输出
དབང་རྩའི་གཞི་རྒྱུ་རེ་རེ་ལ་མཚོན་ནས་བཤད་ན་ནང་འཇུག་ཞིག་ཡོད་ལ་ཕྱིར་འདོན་ཞིག་ཀྱང་ཡོད།

但是这个神经元的输出
འོན་ཀྱང་དབང་རྩའི་གཞི་རྒྱུ་འདིའི་ཕྱིར་འདོན་ནི་

每一个神经元的输出会作为
དབང་རྩའི་གཞི་རྒྱུ་རེ་རེ་ཡི་ཕྱིར་འདོན་གྱིས་

同层的所有的神经元的输入
རིམ་པ་འདྲ་བའི་དབང་རྩའི་གཞི་རྒྱུ་ཡི་ནང་འཇུག་བྱེད་སྲིད།

图3-7是另外一种网络
རི་མོ་3-7ནི་དྲ་རྒྱ་རིགས་གཞན་པ་ཞིག་ཡིན།

我们把他叫自组织映射网络
ང་ཚོས་ཁོ་ལ་རང་སྒྲིག་རྟེན་འཕྲོ་དྲ་རྒྱ་ཟེར།

这个网络里面的所有的神经元会处于同一层
དྲ་རྒྱ་འདིའི་ནང་གི་དབང་རྩའི་གཞི་རྒྱུ་ཚང་མ་རིམ་པ་གཅིག་ན་ཡོད།

同层的节点之间没有连接
རིམ་པ་གཅིག་པའི་ཚིགས་ཚེག་བར་ལ་སྦྲེལ་མཐུད་མེད།

但是同层的节点之间会有相互影响
འོན་ཀྱང་རིམ་པ་མཚུངས་པའ་ཚིགས་ཚེག་བར་ལ་ཕན་ཚུན་ཤུགས་རྐྱེན་ཐེབས་སྲིད།

下面我们来看卷积神经网络
གཤམ་ནས་ང་ཚོས་དྲིལ་བསགས་དབང་རྩའི་དྲ་རྒྱ་ལ་བལྟ་བར་བྱ།

卷积神经网络是深度神经网络的一种形式
དྲིལ་བསགས་དབང་རྩའི་དྲ་རྒྱ་ནི་གཏིང་ཟབ་སློབ་སྦྱོང་གི་རྣམ་པ་ཞིག་ཡིན་པ་དང་།

深度神经网络其实就刚才我们提到的
གཏིང་ཟབ་དབང་རྩའི་དྲ་རྒྱ་ནི་སྤྱིར་ང་ཚོས་གླེང་ཟིན་པའི་

人工神经网络的一种推广或者是一种增强
མིའི་བཟོས་དབང་རྩའི་དྲ་རྒྱ་ཡི་རྒྱ་སྐྱེད་ཡང་ན་འཕེལ་རྒྱས་ཀྱི་རིགས་ཤིག་ཡིན།

如果神经网络里面节点的个数增多
གལ་ཏེ་དབང་རྩའི་དྲ་རྒྱའི་ནང་གི་ཚིགས་ཚེག་གི་གྲངས་ཀ་ཇེ་མང་སོང་བ་བསྟུན་ནས་

网络的层数增加
དྲ་རྒྱའི་རིམ་གྲངས་ཡང་ཇེ་མང་ཡིན།

我们就会得到深度的神经网络
ང་ཚོ་ལ་གཏིང་ཟབ་ཀྱི་དབང་རྩའི་དྲ་རྒྱ་ཐོབ་སྲིད།

这个图里面展示的是一个深度神经网络
རི་མོ་འདིའི་ནང་དུ་གཏིང་ཟབ་དབང་རྩའི་དྲ་རྒྱ་ཞིག་མངོན་བཞིན་ཡོད།

但是他展示的是一个比较简单的一个神经网络
འོན་ཀྱང་ཁོ་ཡིས་མངོན་བཞིན་ཡོད་པ་ནི་ཅུང་སྟབས་བདེ་བའི་དབང་རྩའི་དྲ་རྒྱ་ཞིག་ཡིན།

真正的深度的神经网络他会层数会多达十几层
གཏིང་ཟབ་དབང་རྩའི་དྲ་རྒྱ་ངོ་མ་དེ་ཡི་རིམ་གྲངས་ནི་བཅུ་ལྷག་ཏུ་ཐོན་སྲིད།

而每一层的节点会达到一千多个或者两千多个
འོན་ཀྱང་རིམ་པ་རེ་རེ་ཡི་ཚིགས་ཚེག་ནི་སྟོང་གཅིག་ལྷག་ཡང་ན་སྟོང་གཉིས་ལྷག་ཡང་ཐོན་སྲིད།

深度学习实际上就是对深度神经网络进行训练
གཏིང་ཟབ་སློབ་སྦྱོང་ནི་དོན་དངོས་སུ་གཏིང་ཟབ་དབང་རྩའི་དྲ་རྒྱ་ལ་སྦྱོང་བརྡར་བྱས་ནས་

然后当他实现一个特定的功能
རྗེས་སུ་ཁོ་ལ་ཆེད་དམིགས་ཀྱི་ནུས་པ་ཞིག་མངོན་འགྱུར་བྱེད་རྒྱུ་དེ་ཡིན།

我们把这个网络的训练的过程
ང་ཚོས་དྲ་རྒྱ་འདིའི་སྦྱོང་བརྡར་རྒྱུད་རིམ་ལ་

我们把他叫深度学习
ང་ཚོས་དེ་ལ་གཏིང་ཟབ་སྦྱོུང་ཟེར།

因为我们介绍的是卷积神经网络
རྒྱུ་མཚན་དེའི་ཕྱིར་ང་ཚོས་ངོ་སྤྲོད་བྱེད་པ་ནི་དྲིལ་བསགས་དབང་རྩའི་དྲ་རྒྱ་རེད།

卷积神经网络里面涉及到两个比较典型的运算
དྲིལ་བསགས་དབང་རྩའི་དྲ་རྒྱའི་ནང་དུ་ཅུང་དཔེ་མཚོན་ཅན་གྱི་རྩིས་རྒྱག་གཉིས་ལ་འབྲེལ་ཡོད་དེ་

卷积运算和最大池化运算
དྲིལ་བསགས་རྩིས་རྒྱག་དང་རྫིང་བུ་ཅན་གྱི་རྩིས་རྒྱག་གཉིས་ཡིན།

所以为了更深刻的理解卷积神经网络
དེ་བས་ང་ཚོས་གཏིང་ཟབ་པའི་སྒོ་ནས་དྲིལ་བསགས་དབང་རྩའི་དྲ་རྒྱ་ལ་རྒྱུས་ལོན་བྱེད་པའི་ཆེད་དུ་

我们先看一下离散卷及运算
ང་ཚོས་སྔོན་ལ་གྱེས་ཐོར་དྲིལ་དང་རྩིས་རྒྱག་ལ་བལྟ་བར་བྱ།

像这个图里面展示的图左边的这个矩阵
རི་མོ་ཞིག་གི་ཁྲོད་དུ་མངོན་པ་དང་འདྲ་བར་རི་མོ་གཡོན་ཕྱོགས་ཀྱི་ལང་རྩིས་འདིས་

他表示的是输入他表示这一张图像
མཚོན་པ་ནི་ཕྱིར་འདོན་ཡིན་ལ་རི་མོ་འདི་མཚོན་གྱི་ཡོད།

中间这个矩形我们把他叫核或者是叫窗口
དཀྱིལ་ཀྱི་ལང་རྩིས་འདི་ལ་ང་ཚོས་སྙིང་ཡང་ན་སྒེའུ་ཁུང་ཟེར།

右边的是输出
གཡས་ཕྱོགས་ནི་ཕྱིར་འདོན་ཡིན།

在这个运算的过程是这样的
རྩིས་རྒྱག་འདིའི་བརྒྱུད་རིམ་ནི་འདི་འདྲ་ཞིག་ཡིན་ཏེ་

这个窗口在这个输入矩形上进行移动
སྒེའུ་ཁུང་འདིས་ཕྱིར་ནང་འཇུག་ལང་རྩིས་འདིའི་སྟེང་དུ་སྤེལ་འགུལ་བྱེད་བཞིན་ཡོད་ལ།

每移动一次他会覆盖一个区域
སྤེལ་འགུལ་ཐེངས་རེ་ལས་ས་ཁོངས་གཅིག་རེ་ཁེབས་བཞིན་ཡོད།

我们把他这个窗口覆盖的区域上的数值
ང་ཚོས་ཁོའི་སྒེའུ་ཁུང་འདིའི་ཁེབས་པའི་ས་ཁོངས་ཀྱི་སྟེང་གི་གྲངས་ཐང་དང་

和窗口对应的位置上的数值进行相乘
སྒེའུ་ཁུང་དང་ལྟོས་ཟླའི་གནས་སའི་སྟེང་གི་གྲངས་ཐང་ལ་ཕན་ཚུན་སྒྱུར་བ།

然后再求和进行输出
དེ་ནས་ད་བཟོད་བསྡོམས་རྩིས་ནས་ཕྱིར་འདོན་བྱས་པ་ཡིན།

这个就是对一个位置上的卷及运算
འདི་ནི་གནས་ས་གཅིག་གི་སྟེང་གི་དྲིལ་བསགས་རྩིས་རྒྱག་ཡིན།

如果这个窗口滑动
གལ་ཏེ་སྒེའུ་ཁུང་འདྲེད་འགུལ་འདིའི་

遍历整个这个矩形的所有的区域
ཡོངས་བརྒྱུད་ཀྱི་གྲུ་བཞི་དབྱིབས་ཀྱི་ས་ཁོངས་ཡོད་ཚད་ལ་

运算的结果就是对这样一个图像
རྩིས་རྒྱག་གི་འབྲས་བུ་ནི་འདི་འདྲའི་རི་མོ་ཞིག་གམ་

或者这样一个矩阵的卷积运算
ཡང་ན་འདི་ལྟ་བུའི་ལང་རྩིས་ཀྱི་དྲིལ་བསགས་རྩིས་རྒྱག་ཞིག་ཡིན།

图3-10揭示的是最大池化运算
རི་མོ་3-10གསལ་སྟོན་བྱས་པ་ནི་རྫིང་བུ་ཆེ་ཤོས་ལུགས་རྩིས་ཡིན།

左边是一个矩形
གཡོན་ཕྱོགས་ཀྱི་འདི་ནི་གྲུ་བཞི་དབྱིབས་ཞིག་ཡིན།

这个里面对这个矩形有一个窗口
འདིའི་ནང་དུ་གྲུ་བཞི་དབྱིབས་འདི་དང་ཁ་གཏད་ཀྱི་སྒེའུ་ཁུང་ཞིག་ཡོད།

就这个窗口对这个矩形进行遍历
སྒེའུ་ཁུང་འདིས་གྲུ་བཞི་དབྱིབས་འདི་ལ་ཀུན་བརྒྱུད་བྱེད།

他每移动到一个位置他就会覆盖一个区域
ཁོས་འགུལ་སྐྱོད་བྱས་ནས་གནས་རེ་ལ་ཐོན་དུས་ཁོས་ས་ཁོངས་ཞིག་ཁེབས་སྲིད།

池化运算就是对这个窗口所覆盖的区域的
རྫིང་བུ་རྩིས་རྒྱག་ནི་སྒེའུ་ཁུང་འདིའི་ཁེབས་ཡོད་པའི་ས་ཁོངས་ཀྱི་

所有的元素求最大值
གཞི་རྒྱུ་ལ་ཆེས་ཆེ་བའི་གྲངས་ཐང་ལེན་བཞིན་ཡོད།

如果这个窗口每遍历一次
གལ་ཏེ་སྒེའུ་ཁུང་ལ་ཀུན་བརྒྱུད་ཐེངས་རེ་བྱས་ན་

就会得到一个区域的最大池化运算
ས་ཁོངས་རེའི་ཆེས་ཆེ་བའི་རྫིང་བུའི་རྩིས་རྒྱག་རེ་ཐོབ་སྲིད།

如果整个这个窗口遍历所有的这个矩形
གལ་ཏེ་སྒེའུ་ཁུང་འདི་ཚང་མས་གྲུ་བཞི་དབྱིབས་ཚང་མར་ཀུན་བརྒྱུད་བྱས་ན་

就会得到对这个矩形的最大池化运算
གྲུ་བཞི་དབྱིབས་འདིའི་ཆེས་ཆེ་བའི་རྫིང་བུའི་རྩིས་རྒྱག་ཐོབ་སྲིད།

图3-11展示的是卷积神经网络
རི་མོ་3-11ཡིས་མངོན་ཡོད་པ་ནི་དྲིལ་བསགས་དབང་རྩའི་དྲ་རྒྱ་ཡིན་ལ།

这个是一个典型的深度神经网络
འདི་ནི་དཔེ་མཚོན་ཅན་གྱི་གཏིང་ཟབ་དབང་རྩའི་དྲ་རྒྱ་ཞིག་ཡིན།

他是由多层网络构成
ཁོ་ནི་རིམ་པ་མང་པའི་དྲ་རྒྱས་གྲུབ་པ་ཡིན།

我们看有输入层 有个卷积层
ང་ཚོས་བལྟས་ན་ནང་འཇུག་རིམ་པ་ཡོད་པ་དང་དྲིལ་བསགས་རིམ་པ་ཡོད།

还有后面接着一个卷积层 池化层
ད་དུང་རྗེས་སུ་མཐུད་ཡོད་པ་ནི་དྲིལ་བསགས་རིམ་པ་དང་རྫིང་བུའི་རིམ་པ།

以及卷积层 池化层 全连接层等等
ད་དུང་དྲིལ་བསགས་རིམ། རྫིང་བུའི་རིམ་པ། ཚང་མ་སྦྲེལ་མཐུད་ཀྱི་རིམ་པ་སོགས་ཡིན།

他是一个典型的深度神经网络
ཁོ་ནི་དཔེ་མཚོན་ཅན་གྱི་གཏིང་ཟབ་དབང་རྩའི་དྲ་རྒྱ་ཞིག་ཡིན།

这个卷积层它的主要的功能
དྲིལ་བསགས་རིམ་པ་འདི་ཡི་ནུས་པ་གཙོ་བོ་ནི་

就刚才我们提到的他进行卷积运算
ང་ཚོས་གླེང་ཡོད་པའི་ཁོ་ཡིས་དྲིལ་བསགས་རྩིས་རྒྱག་དང་

而池化层他对这个数据或者对前一层的信息
རྫིང་བུ་རིམ་པ་རུ་ཁོས་གཞི་གྲངས་འདིའམ་ཡང་ན་སྔོན་གྱི་ཆ་འཕྲིན་རིམ་པ་ལ་

进行最大池化运算
ཆེས་ཆེ་བའི་རྫིང་བུའི་རྩིས་རྒྱག་བྱེད་སྲིད།

下面我们介绍一下循环神经网络
གཤམ་ནས་ང་ཚོས་རེས་འཁོར་དབང་རྩིས་དྲ་རྒྱ་ངོ་སྤྲོད་ཞིག་བྱ།

循环神经网络也是深度神经网络的一种形式
རེས་འཁོར་དབང་རྩིས་དྲ་རྒྱ་ཡང་གཏིང་ཟབ་དབང་རྩིའི་དྲ་རྒྱའི་རྣམ་པ་ཞིག་ཡིན།

我们首先看循环神经网络的一个单元
ང་ཚོས་ཐོག་མར་རེས་འཁོར་དབང་རྩིས་དྲ་རྒྱ་ཡི་སྡེ་ཚན་ཞིག་ལ་བལྟ་བར་བྱ།

这个A代表一个神经元
Aའདིའི་དབང་རྩིའི་གཞི་རྒྱུ་རེ་མཚོན་ཡོད།

这个神经元有一个输入Xt
དབང་རྩའི་གཞི་རྒྱུ་འདི་ལ་ནང་འཇུག་Xtརེ་ཡོད།

他有一个输出ht
ཁོ་ལ་ཕྱིར་འདོན་htརེ་ཡོད།

但是我们说这个神经元的输出他又会作为
འོན་ཀྱང་ང་ཚོས་དབང་རྩའི་གཞི་རྒྱུ་འདིའི་ཕྱིར་འདོན་གྱིས་

下一时刻他的输入
རྗེས་མའི་སྐབས་སུ་ཡང་ཁོ་ནི་ནང་འཇུག་བྱེད་སྲིད་ཅེས་བཤད་སྲིད།

所以对于一个时刻t的神经元来说他有两个输入
དེ་བས་དུས་སྐབས་ཤིག་གི་tཡི་དབང་རྩའི་གཞི་རྒྱུ་ལ་བལྟས་ནས་བཤད་ན་ཁོ་ལ་ནང་འཇུག་གཉིས་ཡོད།

一个当前时刻对他的输入信号Xt
མིག་སྔའི་དུས་སུ་ཁོའི་ནང་འཇུག་བརྡ་རྟགས་Xtདང་།

还有一个是上一时刻
ད་དུང་གཅིག་ནི་སྐབས་གོང་མའི་

神经元的A的输出作为他的输入
དབང་རྩའི་གཞི་རྒྱུ་ཡི་Aཡི་ཕྱིར་འདོན་དེ་ཁོའི་ནང་འཇུག་བྱེད་སྲིད།

因为循环神经网络或者是循环神经元
རེས་འཁོར་དབང་རྩའི་དྲ་རྒྱ་ཡང་ན་རེས་འཁོར་དབང་རྩའི་གཞི་རྒྱུ་དེ་

他涉及到上一时刻的输入
སྐབས་གོང་མའི་ནང་འཇུག་དང་འབྲེལ་ཡོད་པས་སྟབས་ཀྱིས་

所以我们说他是一个
དེ་བས་ང་ཚོས་ཁོ་ནི་རིམ་ལོག་གི་

相当于一个递归的这样一个神经元
དབང་རྩའི་གཞི་རྒྱུ་ཞིག་དང་འདྲ་བའམ་ཡང་ན་

或者是网络结构
དྲ་རྒྱས་གྲུབ་ཚུལ་ཞིག་ཡིན།

当我们把这个网络结构可以展开
ང་ཚོས་དྲ་རྒྱའི་གྲུབ་ཚུལ་འདི་རྒྱ་བསྐྱེད་ཆོག་པའི་སྐབས་སུ་

把这个循环神经网络展开就是这个样子
རེས་འཁོར་དབང་རྩའི་དྲ་རྒྱ་རྒྱ་བསྐྱེད་ནི་རྣམ་པ་འདི་ལྟ་བུ་ཞིག་ཡིན།

比如说对于时刻t来说他有一个输入Xt
དཔེར་བཞག་ནས་བཤད་ན་དུས་སྐབས་tལ་བལྟས་ནས་བཤད་ན་ནང་འཇུག་Xtཞིག་ཡོད་པ་དང་

那么他还有一个输入就是
འོ་ན་ཁོ་ལ་ད་དུང་ནང་འཇུག་ཞིག་ཡོད་པ་ནི་

前一时刻也就是t-1时刻
སྐབས་སྔོན་མའི་t-1དུས་སྐབས་ཀྱི་

神经元的输出作为他的输入
དབང་རྩའི་ཕྱིར་འདོན་དེ་ཁོ་ཡི་ནང་འཇུག་བྱས་པ་ཡིན།

循环神经网络因为具有这样一个递归的特性
རེས་འཁོར་དབང་རྩའི་དྲ་རྒྱ་ནི་འདི་ལྟ་བུའི་རིམ་ལོག་གི་ཁྱད་ཆོས་ཞིག་ཡོད་པས་

所以他有一个特长或者是他的优势
དེ་བས་ཁོ་ལ་ཁྱད་ནུས་ཡང་ན་བཟང་ཆ་ཞིག་ཡོད།

他能够捕获时间序列信息
ཁོས་དུས་ཚོད་རིམ་ཕྲེང་གི་ཆ་འཕྲིན་འཛིན་བཟུང་བྱེད་ཐུབ།

我们刚才提到的是循环神经网络
ང་ཚོས་གླེང་ཡོད་པ་ནི་རེས་འཁོར་དབང་རྩའི་དྲ་རྒྱ་ཡིན་ལ།

因为他们要需要记住上一时刻的信息
ཁོ་ཚོར་སྐབས་སྔོན་མའི་ཆ་འཕྲིན་བློ་ལ་ངེས་དགོས་བས་

所以他的单元的结构比较复杂
ཁོའི་སྡེ་ཚན་གྱི་གྲུབ་ཚུལ་དེ་ཅུང་རྙོག་འཛིང་ལྡན།

这个是一个循环神经网络的结构的单元
འདི་ནི་རེས་འཁོར་དབང་རྩིའི་དྲ་རྒྱའི་གྲུབ་ཚུལ་གྱི་སྡེ་ཚན་ཞིག་ཡིན།