《计算机工程与科学杂志》发表论文赏析

一种矩阵块间提前切换的脉动阵列优化策略

来源:计算机工程与科学杂志2023年第1期北京时间:

作者:鞠鑫, 曹亚松, 文梅, 汪志, 冯静

单位:国防科技大学计算机学院,湖南 长沙 410073

摘要:AI应用对硬件算力的需求逐年增加,驱使着AI加速器不断向更高的性能演化。研究表明,AI应用的主要运算形式可以转化为矩阵乘运算,脉动阵列因为在矩阵乘运算上的独特优势,使其成为了主流矩阵乘加速技术之一。然而,矩阵在注入和流出脉动阵列时存在一定的流水线启动和排空开销,特别是支持训练的浮点脉动阵列,其MAC延时往往大于1,矩阵块间切换不及时会导致PE利用率急剧下降。针对上述问题,基于典型应用场景进行理论分析,提出了一种矩阵块间提前切换策略,能够精确计算出各种情况下的矩阵块间最优切换时刻。同时,还实现了RTL设计。经过实验对比可知,优化后的脉动阵列增加的硬件开销微乎其微,但在所有场景中均能得到性能提升。

关键词:脉动阵列,AI,矩阵乘,加速器,PE利用率,

基金资助:国家自然科学基金(62002366)

2023年1期其他文献查阅:

一种矩阵块间提前切换的脉动阵列优化策略

基于RC充电时间过零点不变性的高精度高稳定振荡器

基于Flink的k-支配skyline体并行求解算法

深度层次注意力矩阵分解

飞行器翼型表面流场数据智能分区

基于软件定义网络的多约束QoS双路径路由优化方法

一种基于多级块加密置乱的防伪图案

基于可搜索加密的密态知识图谱存储和检索方案

RFID安全认证协议综述

基于蚁群参数优化的LightGBM辐射源个体识别

基于PoseC3D的网球动作识别及评价方法

Lupaş q-Bézier曲线的离散卷积生成与求值算法

一般图中的最小概要表示集问题

基于深度前馈神经网络的多因子人体表面积计算模型

基于注意力机制和可变形卷积的金属表面细微不规则损伤的图像识别模型

面向快递员揽收到达时间预测的多任务深度时空网络

一种自适应鲸鱼快速优化算法

基于主题关系的中文短文本图模型实体消歧

基于深度特征提取和DCT变换的图像复制粘贴篡改检测

基于混合模型的事件触发词抽取

融合知识图谱和评论文本的个性化推荐模型

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!