《计算机工程与科学杂志》发表论文赏析

单次神经网络结构搜索研究综述

来源:计算机工程与科学杂志2023年第2期北京时间:

作者:董佩杰, 牛新, 魏自勉, 陈学晖

单位:国防科技大学计算机学院,湖南 长沙 410073

摘要:深度学习技术的快速发展与神经网络结构的创新关系密切。为提升网络结构设计效率,自动化网络结构设计算法—神经网络结构搜索NAS成为近年的研究热点。早期NAS算法通常要对大量候选网络进行训练和评估,带来了巨大的计算开销。通过迁移学习技术,可以加速候选网络的收敛,从而提升网络结构搜索效率。基于权重迁移技术的单次神经网络结构搜索(One-shot NAS)算法以超图为基础,子图之间进行权重共享,提高了搜索效率,但是也面临着协同适应、排序相关性差等挑战性问题。首先介绍了基于权重共享的One-shot NAS算法的相关研究,然后从采样策略、过程解耦和阶段性3个方面对关键技术进行分析梳理,比较分析了典型算法的搜索效果,并对未来的研究方向进行了展望。

关键词:神经网络结构搜索,单次神经网络结构搜索,权重共享,迁移学习,深度学习,

基金资助:国家自然科学基金(61806216)

2023年2期其他文献查阅:

单次神经网络结构搜索研究综述

拟态防御体系OSPF协议研究及分析

专用数据处理器综述

56 Gbps高速信号传输系统仿真验证设计

Flink水位线动态调整策略

基于转录组学数据的抗真菌药物预测方法研究

基于共用密钥的高效多密钥同态加密方案研究

面向工控系统漏洞的多维属性评估

基于身份的可审计多重截取签名方案

SDN环境中基于Bi-LSTM的DDoS攻击检测方案

基于时间因子的可撤销可追踪属性基加密方案

基于人眼色彩差异化感知的图像质量评价研究

基于部分卷积和多尺度特征融合的人脸图像修复模型

基于多步长的多机器人分布式巡逻算法研究

采用离散烟花算法的移动群智感知异构任务分配

基于BA-RVM算法的发动机故障诊断技术研究

基于情感语义对抗的跨语言情感分类模型

改进麻雀搜索算法优化SVM的异常点检测

精英反向黄金正弦海洋捕食者算法

面向鲁棒性增强的多任务机器阅读理解

DCsR:一种面向中文文本的集成式纠错框架

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!