深度神经网络训练中梯度不稳定现象研究综述

来源：软件学报杂志2018年第7期北京时间：

作者：陈建廷,向阳

单位：陈建廷，同济大学 电子信息与工程学院, 上海 20180411,向阳，同济大学 电子信息与工程学院, 上海 20180402

摘要：深度神经网络作为机器学习领域的热门研究方向，在训练中容易出现梯度不稳定现象，是制约其发展的重要因素，控制和避免深度神经网络的梯度不稳定现象是深度神经网络的重要研究内容.分析了梯度不稳定现象的成因和影响，并综述了目前解决梯度不稳定现象的关键技术和主要方法.最后展望了梯度不稳定现象的未来研究方向.

关键词：深度神经网络;梯度不稳定现象;梯度衰减;梯度爆炸

基金资助：国家重点基础研究发展计划（973）（2014CB340404）；国家自然科学基金（71571136）；上海市科委基础研究项目（16JC403000）