对神经网络对抗鲁棒性正则化的认识

对抗样本的存在表明现代神经网络是相当脆弱的。为解决这一问题,研究者相继提出了许多方法,其中使用对抗样本进行训练被认为是至今最有效的方法之一。然而,经过对抗训练后神经网络对于正常样本的性能往往会下降,这一问题引起了学术界的广泛关注,这种准确度与鲁棒性之间互相妥协的本质原因仍未被找出。在这一工作中,我们从正则化的角度来研究神经网络的对抗鲁棒性。我们指出,经过对抗训练之后的网络在特征空间的绝大多数方向上将被平滑,导致样本集中于决策边界附近;换言之,经过对抗训练的网络输出往往是相对低置信度的,这种网络对于正常样本的性能往往也是更差的。我们的研究表明,我们应该以更温和的手段来构建对抗鲁棒性,避免过度正则化。

播放:69次,课程ID:4252016

对神经网络对抗鲁棒性正则化的认识课程简介:前往报名学习

对神经网络对抗鲁棒性正则化的认识课程简介:

对抗样本的存在表明现代神经网络是相当脆弱的。为解决这一问题,研究者相继提出了许多方法,其中使用对抗样本进行训练被认为是至今最有效的方法之一。然而,经过对抗训练后神经网络对于正常样本的性能往往会下降,这一问题引起了学术界的广泛关注,这种准确度与鲁棒性之间互相妥协的本质原因仍未被找出。在这一工作中,我们从正则化的角度来研究神经网络的对抗鲁棒性。我们指出,经过对抗训练之后的网络在特征空间的绝大多数方向上将被平滑,导致样本集中于决策边界附近;换言之,经过对抗训练的网络输出往往是相对低置信度的,这种网络对于正常样本的性能往往也是更差的。我们的研究表明,我们应该以更温和的手段来构建对抗鲁棒性,避免过度正则化。

前往报名学习

对神经网络对抗鲁棒性正则化的认识课程目录:

No list

No list

对神经网络对抗鲁棒性正则化的认识授课教师:

温宇馨-华南理工大学博士生-华南理工大学-

温宇馨,本科毕业于华南理工大学,目前在华南理工大学几何感知与智能实验室就读博士四年级,导师为贾奎教授。研究兴趣包括计算机视觉与机器学习。已在相关领域的国际顶级会议期刊如ICML, TPAMI等发表多篇论文。

© 柠檬大学-慕课导航 课程版权归原始院校所有,
本网站仅通过互联网进行慕课课程索引,不提供在线课程学习和视频,请同学们点击报名到课程提供网站进行学习。