单次神经网络结构搜索研究综述

来源：计算机工程与科学杂志2023年第2期北京时间：

作者：董佩杰, 牛新, 魏自勉, 陈学晖

单位：国防科技大学计算机学院，湖南 长沙 410073

摘要：深度学习技术的快速发展与神经网络结构的创新关系密切。为提升网络结构设计效率，自动化网络结构设计算法—神经网络结构搜索NAS成为近年的研究热点。早期NAS算法通常要对大量候选网络进行训练和评估，带来了巨大的计算开销。通过迁移学习技术，可以加速候选网络的收敛，从而提升网络结构搜索效率。基于权重迁移技术的单次神经网络结构搜索(One-shot NAS)算法以超图为基础，子图之间进行权重共享，提高了搜索效率，但是也面临着协同适应、排序相关性差等挑战性问题。首先介绍了基于权重共享的One-shot NAS算法的相关研究，然后从采样策略、过程解耦和阶段性3个方面对关键技术进行分析梳理，比较分析了典型算法的搜索效果，并对未来的研究方向进行了展望。

关键词：神经网络结构搜索,单次神经网络结构搜索,权重共享,迁移学习,深度学习,

基金资助：国家自然科学基金（61806216）