深度模型的持续学习综述：理论、方法和应用

来源：电子与信息学报杂志2024年第10期北京时间：

作者：张东阳, 陆子轩, 刘军民, 李澜宇

单位：1.西安交通大学 西安 7100492.南京电子技术研究所 南京 2100133.雷达探测感知全国重点实验室 南京 210039

摘要：自然界中的生物需要在其一生中不断地学习并适应环境，这种持续学习的能力是生物学习系统的基础。尽管深度学习方法在计算机视觉和自然语言处理领域取得了重要进展，但它们在连续学习任务时面临严重的灾难性遗忘问题，即模型在学习新知识时会遗忘旧知识，这在很大程度上限制了深度学习方法的应用。持续学习研究对人工智能系统的改进和应用具有重要意义。该文对深度模型的持续学习进行了全面回顾。首先介绍了持续学习的定义和典型设定，阐述了问题的关键。其次，将现有持续学习方法划分为基于正则化、基于回放、基于梯度和基于网络结构4类，分析了各类方法的优点和局限性。同时，该文强调并总结了持续学习领域的理论分析进展，建立了理论与方法之间的联系。此外，提供了常用的数据集和评价指标，以公正评判不同方法。最后，从多个领域的应用价值出发，讨论了深度持续方法面临的问题、挑战和未来研究方向。

关键词：深度学习, 持续学习, 灾难性遗忘

基金资助：国家自然科学基金(62276208, 12326607, 11991023)，陕西省杰出青年科学基金(2024JC-JCQN-02)