结合算子选择的卷积神经网络显存优化算法
来源：吉林大学学报·理学版杂志2024年第2期北京时间：
作者：魏晓辉, 周博文, 李洪亮, 徐哲文
单位：吉林大学 计算机科学与技术学院, 长春 130012
摘要：针对卷积神经网络训练中自动算子选择算法在较大的显存压力下性能下降的问题, 将卸载、 重计算与卷积算子选择统一建模, 提出一种智能算子选择算法。该算法权衡卸载和重计算引入的时间开销与更快的卷积算子节省的时间, 寻找卸载、重计算和卷积算子选择的调度, 解决了自动算子选择算法性能下降的问题. 实验结果表明,该智能算子选择算法比重计算自动算子选择算法缩短了13.53%训练时间, 比已有的卸载/重计算-自动算子选择算法缩短了4.36%的训练时间.
关键词：显存,卷积神经网络训练,卷积算子,卸载,重计算
