基于浅层网络预测的元标签校正方法

来源：计算机应用杂志2024年第11期北京时间：

作者：黄雨鑫, 黄贻望, 黄辉

单位：1.福建理工大学 计算机科学与数学学院，福州 350118；2.铜仁学院 大数据学院，贵州 铜仁 554300；3.福建农业职业技术学院 现代农业技术学院，福州 350119

摘要：针对深度神经网络（DNN）对含有噪声标签的图像数据具有记忆行为而导致的过拟合问题，提出一种基于浅层神经网络预测的元标签校正方法。该方法采用弱监督训练方式，通过设置标签重加权网络对噪声数据进行加权操作，利用元学习方法使模型动态地学习噪声数据，并将模型中深层与浅层网络的预测输出作为伪标签训练模型，同时利用知识蒸馏算法使深层网络指导浅层网络训练，以有效缓解模型的记忆行为并提升模型鲁棒性。在CIFAR10/100、Clothing1M数据集上的实验结果表明，相较于元标签校正（MLC）方法，所提方法在对称噪声比例为60%与80%的CIFAR10数据集上的准确率分别提升了3.49、1.56个百分点；此外，在CIFAR100数据集的消融实验中，非对称噪声比例为40%时，所提方法比无预测标签训练的模型准确率最高提升了5.32个百分点，验证了所提方法的可行性与有效性。

关键词：噪声标签,元学习,标签校正,标签重加权,知识蒸馏

基金资助：国家自然科学基金资助项目(62066040);铜仁市科技局资助项目(铜仁市科研［2022］5号)