互补学习：一种面向图像应用和噪声标注的深度神经网络训练方法

来源：计算机研究与发展杂志2017年第12期北京时间：

作者：周彧聪,刘轶,王锐,

摘要：近几年来，深度神经网络在图像识别、语音识别、自然语言处理等众多领域取得了突破性的进展.互联网以及移动设备的快速发展极大地推进了图像应用的普及，也为深度神经网络的训练积累了大量数据.其中，大规模人工标注的数据是成功训练深度神经网络的关键.但随着数据规模的快速增长，人工标注图像的成本也越来越高，同时不可避免地产生标注错误，从而影响神经网络的训练.为此，提出了一种称为互补学习的方法，面向图像应用中深度神经网络的训练，将简单样本挖掘和迁移学习的思想相结合，利用少量人工标注的干净数据和大量带有噪声标注的数据，同时训练一主一辅2个深度神经网络模型，在训练过程中采用互补的策略分别选择部分样本进行学习，同时将辅模型的知识迁移给主模型，从而减少噪声标注对训练的影响.实验表明：提出的方法能有效地利用带有噪声标注的数据训练深度神经网络，并对比其他方法有一定的优越性，有较强的应用价值.

关键词：深度神经网络, 图像应用, 噪声标注, 简单样本挖掘, 迁移学习,