《计算机工程与科学杂志》发表论文赏析

适应于硬件部署的神经网络剪枝量化算法

来源:计算机工程与科学杂志2024年第9期北京时间:

作者:王鹏, 张嘉诚, 范毓洋,

单位:1.中国民航大学民航航空器适航审定技术重点实验室,天津 300399;2.中国民航大学安全科学与工程学院,天津 300399

摘要:深度神经网络由于性能优异已经在图像识别、目标检测等领域广泛应用,然而其包含大量参数和巨大计算量,导致在需要低延时和低功耗的移动边缘端部署时困难。针对该问题,提出一种用移位加法代替乘法运算的压缩算法,通过对神经网络进行剪枝和量化将参数压缩至低比特。该算法在乘法资源有限的情况下降低了硬件部署难度,可满足移动边缘端低延时和低功耗的要求,提高运行效率。对ImageNet数据集经典神经网络进行了实验,结果表明神经网络的参数在压缩到4 bit的情况下,其准确率与全精度神经网络的基本一致,甚至在ResNet18、ResNet50和GoogleNet网络上的Top-1/Top-5准确率还分别提升了0.38%/0.22%,0.35%/0.21%和1.14%/0.57%。对VGG16第8层卷积层进行实验,将其部署在Zynq7035上,结果表明,压缩后的网络在使用的DSP资源减少43%的情况下缩短了51.1%的推理时间,并且减少了46.7%的功耗。

关键词:深度神经网络,硬件,剪枝,量化,FPGA,

基金资助:国家重点研发计划(2021YFB1600600)

2024年9期其他文献查阅:

基于便笺式存储器的向量化SpMV算法的性能评估与分析

面向结构矩阵的可扩展并行矩阵乘算法框架

一种面向计算图的及时内存重用算法

适应于硬件部署的神经网络剪枝量化算法

面向深度行情因子挖掘的分布式训练关键技术研究

基于OpenMP的硅晶体分子动力学模拟的空间分解着色及向量化研究#br#

基于图神经网络的OMCI模型相似性计算

一种基于多特征的日志事件异常检测方法研究

基于同态加的压缩感知加密域信息隐藏算法

基于差分隐私与模型聚类的安全联邦学习方案

多尺度特征融合的移动端单目深度估计研究

基于图文关联与上下文引导的军事新闻图集描述生成方法

基于多种策略改进的鲸鱼优化算法

神经网络增强的成对双线性因子分解机

改进遗传算法与多目标优化模型的航班路径规划

一种基于超图的多模态多标签分类方法

基于元学习的图神经网络冷启动推荐

基于双重自表达与最大熵原理的深度子空间聚类算法

基于用户轨迹和好友关系的兴趣点推荐

一种基于关联程度的高效用数量比频繁模式挖掘算法

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!