深度学习的轻量化神经网络结构研究综述
来源：计算机工程杂志2021年第8期北京时间：
作者：王军, 冯孙铖, 程勇
单位：1. 南京信息工程大学 计算机与软件学院, 南京 210044;2. 南京信息工程大学 数字取证教育部工程研究中心, 南京 210044;3. 南京信息工程大学 科技产业处, 南京 210044
摘要：随着深度神经网络和智能移动设备的快速发展，网络结构轻量化设计逐渐成为前沿且热门的研究方向，而轻量化的本质是在保持深度神经网络精度的前提下优化存储空间和提升运行速度。阐述深度学习的轻量化网络结构设计方法，对比与分析人工设计的轻量化方法、基于神经网络结构搜索的轻量化方法和基于自动模型压缩的轻量化方法的创新点与优劣势，总结与归纳上述3种主流轻量化方法中性能优异的网络结构并分析各自的优势和局限性。在此基础上，指出轻量化网络结构设计所面临的挑战，同时对其应用方向及未来发展趋势进行展望。
关键词：深度学习,轻量化设计,深度可分离卷积,Octave卷积,神经网络结构搜索,模型压缩
基金资助：国家自然科学基金（41875184）；江苏省“六大人才高峰”创新人才团队项目（TD-XYDXX-004）。
