自适应特征整合与参数优化的类增量学习方法

来源：计算机工程与应用杂志2024年第3期北京时间：

作者：徐岸, 吴永明, 郑洋

单位：1.贵州大学 省部共建公共大数据国家重点实验室，贵阳 550025 ；2.贵州大学 现代制造教育部重点实验室，贵阳 550025

摘要：针对深度网络模型在增量式场景下图片分类任务所产生的灾难性遗忘问题，提出一种自适应特征整合与权重选择的类增量学习方法。该方法以知识蒸馏作为基础框架，对前后任务模型的主干网络和分类网络的输出特征进行整合，利用蒸馏约束与自定义差异损失使当前模型具有历史旧模型的泛化能力。在增量学习阶段，对神经网络模型参数的重要性进行评价，学习新任务时，重要参数的改变会受到惩罚，从而有效防止新模型覆盖于以前任务相关的重要知识。实验结果表明，所提方法可以发掘模型的增量学习能力，有效缓解了灾难性遗忘。

关键词：增量学习,灾难性遗忘,参数优化,特征整合,知识蒸馏