当前课程知识点：小白学人工智能 > 五、二战深度学习之深度学习 > 5.6 反向传播 > 反向传播
回到反向传播
之前介绍了梯度下降是一种求解损失函数极小值点的优化算法
而反向传播就是一种通过链式法则求解梯度的方法
什么是链式法则
复合函数求导的链式法则 例如这个
还是难理解吗
小张同学举了这么一个生活案例来介绍反向传播
你觉得合理吗
有请计小白
小张同学和计小白对反向传播的介绍有几点不同
第一点不同 小张的介绍中 员工的亏损
各科研攻关部门的亏损等这些中间环节的误差都是知道的
也就是说中间环节是有目标函数 也就是误差的
但是神经网络中间环节的目标函数 误差是不知道的
这也是链式法则的作用
把最后一层的误差相对的梯度往前传递的作用
第二点不同 小张同学的介绍没有为什么"反向"这个内容
误差相对某层的梯度还要依赖误差相对这层之后所有层的梯度的计算
所以梯度计算从后往前 也就是先算后面层的梯度 再算前面层的梯度
这种梯度计算"从后往前"的反向传播比梯度计算"从前往后"要高效
看一段如何用反向传播迭代计算网络参数的过程
这就是反向传播。再来个小结
反向传播是一种通过链式法则求解梯度的方法
有两个重点 1 为什么用链式法则 2 为什么"反向"
为什么用链式法则
求解梯度是求解目标函数在某参数值的梯度
深度学习中是求解损失函数在某参数值的梯度
梯度是调整参数的依据
深度学习中除了输入层 所有隐藏层和输出层都有参数需要调整
但是只有最后一层 也就是输出层有目标函数 也就是有损失函数
所有中间环节的参数的调整
需要利用链式法则求得损失函数相对中间环节参数的梯度
为什么"反向"
因为求解损失函数相对中间环节参数的梯度
需要依赖损失函数现对后面环节的梯度
所以求解"从后往前"传递梯度效率高
-1.1 人工智能能做什么？
--人工智能能做什么
--课后作业
-1.2 人工智能案例——智能小恐龙
-2.1 学习人工智能就是学习f(x)=y
--课后作业
-2.2 f难找吗
--声控小恐龙的f
--课后作业
-2.3 聊聊线性(f)和非线性(f)
--课后作业
-3.1 初识KNN
--初识KNN
--课后作业
-3.2 猫狗大战，xy好找吗
--课后习题
-4.1 初识神经网络
--初识神经网络
-4.2 如此重要的感知器
--如此重要的感知器
--课后作业
-4.3 神经网络和西瓜
--神经网络和西瓜
--课后作业
-5.1 深度学习和做粤菜
--深度学习和做粤菜
-5.2 手写数字识别案例
--手写数字识别案例
-5.3 网络参数的计算
--网络参数的计算
-5.4 再聊激活函数
--再聊激活函数
-5.5 梯度下降
--梯度下降
-5.6 反向传播
--反向传播
-5.7 欠拟合和过拟合
--欠拟合和过拟合
-5.8 代码和小结
--代码和小结
