基于TVM平台的MEC卷积算法优化

来源：计算机工程与应用杂志2023年第1期北京时间：

作者：王朝闻, 蒋林, 李远成, 朱筠

单位：1.西安科技大学 计算机科学与技术学院，西安 710600；2.西安邮电大学 电子工程学院，西安 710121；

摘要：针对MEC（memory efficient convolution）卷积算法在传统设备下因访问数据地址不连续导致的缓存命中率低、内存访问延时长等问题，提出一种适用于MEC算法访存行为的优化方法。该方法分为中间矩阵转换和矩阵运算两部分。对于中间矩阵转换部分，采用修改数据读取顺序的方式对其进行优化，使读取方式符合算法的访存行为。对于矩阵运算部分，采用更加适合矩阵运算的内存数据布局对卷积核矩阵修改，并利用TVM（tensor virtual machine）平台封装的计算函数，重新设计中间矩阵同卷积核矩阵的计算方式。使用平台自带并行库对运算过程进行加速。实验结果表明，相比传统MEC算法，提出的优化方法可以有效解决缓存命中率低、内存访问延时长等问题，同MEC算法的运算时间对比，在单个卷积层上平均获得了50%的速度提升，在多层神经网络中最低获得了57%以上的速度提升，同空间组合算法的运算时间对比，最高获得了80%的速度提升。

关键词：卷积计算,访存行为,缓存技术,MEC算法