《计算机工程与科学杂志》发表论文赏析

细粒度任务并行GPU通用矩阵乘

来源:计算机工程与科学杂志2015年第5期北京时间:

作者:张帅,李涛,王艺峰,焦晓帆,杨愚鲁

单位:(南开大学计算机与控制工程学院,天津 300071)

摘要:稠密线性代数运算对模式识别和生物信息等许多实际应用至关重要,而通用矩阵乘(GEMM)处于稠密线性代数运算的基础地位。在cuBLAS与MAGMA中,GEMM被实现为若干kernel函数,对大型GEMM计算能够达到很高的性能。然而,现有实现对批量的小型GEMM计算性能发挥则较为有限。而且,现有实现也不能在多个具有不同性能的GPU之间自动扩展并达到负载均衡。提出任务并行式GEMM(TPGEMM),用细粒度任务并行的方式实现批量矩阵乘和多GPU矩阵乘。一个或多个GEMM的计算能够被拆分为多个任务,动态地调度到一个或多个GPU上。TPGEMM避免了为批量矩阵乘启动多个kernel函数的开销,对批量矩阵乘能够取得显著高于cuBLAS与MAGMA的性能。在低开销细粒度任务调度的基础上,TPGEMM支持单个GEMM计算在多个GPU间的自动并行,在一台具有四个不同性能GPU的工作站上取得了接近100%的扩展效率。

关键词:通用矩阵乘;持久化kernel;任务并行;负载均衡,

2015年5期其他文献查阅:

细粒度任务并行GPU通用矩阵乘

实时微处理器体系结构综述

一种基于资源预分配的虚拟机软实时调度方法

基于TAM的企业云应用服务采纳模型及关键因素

分布式系统下的DAG任务调度研究综述

利用海量知识库实现实体标注的一种方法

一种改进的GPU虚拟化实施方法

基于Xeon Phi平台的波动方程叠前深度偏移

TMP-TIE:基于流量迁移预测的域间出口选择算法

可分负载WSN的能耗最小负载调度研究

基于跨层设计的认知无线Mesh网络拥塞反馈研究

基于集成混合采样的软件缺陷预测研究

基于图文法的程序流程图与源代码自动转换

一种基于熵理论和中介真值度量的综合评价法

广义可能性互模拟及其逻辑刻画

面向时移电视类业务的组合测试实践研究

基于单亲遗传算法混合动态规划的电动汽车充电调度优化策略

基于改进聚类分析的神经网络集成方法应用研究

基于筛选进化模型的指标体系建立方法

复杂环境下的遗留物检测算法

H.264帧间模式选择快速算法

ICIC_Prediction:基于因果关系全局动态特性的预测方法

基于信息增益的模糊K-prototypes聚类算法

广义可能性C均值聚类算法

实时在线嵌入式系统复位设计

基于LabVIEW的孤堡输电杆塔基础偏移监测研究

基于ARM的分布式多通道数据采集仪

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!