深度神经网络平均场理论综述

来源：计算机应用杂志2024年第2期北京时间：

作者：颜梦玫, 杨冬平

单位：1.福州大学 先进制造学院, 福建 泉州 362000；2.中国科学院海西研究院 泉州装备制造研究中心, 福建 泉州 362200；3.之江实验室 混合增强智能研究中心, 杭州 311101

摘要：平均场理论（MFT）为理解深度神经网络（DNN）的运行机制提供了非常深刻的见解，可以从理论上指导深度学习的工程设计。近年来，越来越多的研究人员开始投入DNN的理论研究，特别是基于MFT的一系列工作引起人们的广泛关注。为此，对深度神经网络平均场理论相关的研究内容进行综述，主要从初始化、训练过程和泛化性能这三个基本方面介绍最新的理论研究成果。在此基础上，介绍了混沌边缘和动力等距初始化的相关概念、相关特性和具体应用，分析了过参数网络以及相关等价网络的训练特性，并对不同网络架构的泛化性能进行理论分析，体现了平均场理论是理解深度神经网络机理的非常重要的基本理论方法。最后，总结了深度神经网络中初始、训练和泛化阶段的平均场理论面临的主要挑战和未来研究方向。

关键词：深度神经网络,动力学,平均场理论,随机初始化,泛化性

基金资助：国家自然科学基金资助项目(12175242)