进化网络模型: 无先验知识的自适应自监督持续学习

来源：电子与信息学报杂志2024年第8期北京时间：

作者：刘壮, 宋祥瑞, 赵斯桓, 施雅, 杨登封

单位：1.东北财经大学金融科技学院 大连 1160252.大连理工大学计算机学院 大连 116024

摘要：无监督持续学习(UCL)是指能够随着时间的推移而学习，同时在没有监督的情况下记住以前的模式。虽然在这个方向上取得了很大进展，但现有工作通常假设对于即将到来的数据有强大的先验知识(例如，知道类别边界)，而在复杂和不可预测的开放环境中可能无法获得这些知识。受到现实场景的启发，该文提出一个更实际的问题设置，称为无先验知识的在线自监督持续学习。所提设置具有挑战性，因为数据是非独立同分布的，且缺乏外部监督、没有先验知识。为了解决这些挑战，该文提出一种进化网络模型(英文名EvolveNet)，它是一种无先验知识的自适应自监督持续学习方法，能够纯粹地从数据连续体中提取和记忆表示。EvolveNet围绕3个主要组件设计：对抗伪监督学习损失、自监督遗忘损失和在线记忆更新，以进行均匀子集选择。这3个组件的设计旨在协同工作，以最大化学习性能。该文在5个公开数据集上对EvolveNet进行了全面实验。结果显示，在所有设置中，EvolveNet优于现有算法，在CIFAR-10, CIFAR-100和TinyImageNet数据集上的准确率显著提高，同时在针对增量学习的多模态数据集Core-50和iLab-20M上也表现最佳。该文还进行了跨数据集的泛化实验，结果显示EvolveNet在泛化方面更加稳健。最后，在Github上开源了EvolveNet模型和核心代码，促进了无监督持续学习的进展，并为研究社区提供了有用的工具和平台。

关键词：无监督持续学习, 自适应自监督, 泛化能力, 增量学习, 进化网络模型

基金资助：国家自然科学基金 (72272028)