《计算机工程与科学杂志》发表论文赏析

一种面向计算图的及时内存重用算法

来源:计算机工程与科学杂志2024年第9期北京时间:

作者:曹博钧, 钱入意, 徐远超

单位:首都师范大学信息工程学院,北京 100048

摘要:有限的设备内存容量制约了深度神经网络模型的进一步发展,内存重用是少有的在不引入额外开销的前提下节省内存使用的方法之一。计算图中的中间张量占据着主要的内存空间,是内存重用算法的主要优化对象。现有的典型内存重用算法,包括大张量优先算法和短生命周期优先算法,仅从单一特征出发,只考虑张量之间的生命周期是否重叠,忽略了邻近张量之间的生命周期相对位置关系,计算图越复杂,对内存重用的挖掘越不够充分。针对该问题,提出一种新的内存重用算法——UMR,通过深入分析图中邻近张量的生命周期相对位置关系,并及时进行重用,从而获得了更多的内存重用机会。基于MLPerf中的真实推理模型对算法进行评估,结果显示UMR算法的内存重用率不低于现有的主流算法,且能达到该模型内存重用的理论最优。基于相对复杂的计算图对算法进行的评估表明,与大张量优先与短生命周期优先2种算法相比,UMR算法最高节省了21.6%和18.7%的内存占用,平均分别节省了6.5%与13.2%的内存占用。

关键词:计算图,内存优化,内存重用,内存利用率,

基金资助:北京市自然科学基金(4212017)

2024年9期其他文献查阅:

基于便笺式存储器的向量化SpMV算法的性能评估与分析

面向结构矩阵的可扩展并行矩阵乘算法框架

一种面向计算图的及时内存重用算法

适应于硬件部署的神经网络剪枝量化算法

面向深度行情因子挖掘的分布式训练关键技术研究

基于OpenMP的硅晶体分子动力学模拟的空间分解着色及向量化研究#br#

基于图神经网络的OMCI模型相似性计算

一种基于多特征的日志事件异常检测方法研究

基于同态加的压缩感知加密域信息隐藏算法

基于差分隐私与模型聚类的安全联邦学习方案

多尺度特征融合的移动端单目深度估计研究

基于图文关联与上下文引导的军事新闻图集描述生成方法

基于多种策略改进的鲸鱼优化算法

神经网络增强的成对双线性因子分解机

改进遗传算法与多目标优化模型的航班路径规划

一种基于超图的多模态多标签分类方法

基于元学习的图神经网络冷启动推荐

基于双重自表达与最大熵原理的深度子空间聚类算法

基于用户轨迹和好友关系的兴趣点推荐

一种基于关联程度的高效用数量比频繁模式挖掘算法

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!