细粒度任务并行GPU通用矩阵乘

来源：计算机工程与科学杂志2015年第5期北京时间：

作者：张帅，李涛，王艺峰，焦晓帆，杨愚鲁

单位：（南开大学计算机与控制工程学院，天津 300071）

摘要：稠密线性代数运算对模式识别和生物信息等许多实际应用至关重要，而通用矩阵乘（GEMM）处于稠密线性代数运算的基础地位。在cuBLAS与MAGMA中，GEMM被实现为若干kernel函数，对大型GEMM计算能够达到很高的性能。然而，现有实现对批量的小型GEMM计算性能发挥则较为有限。而且，现有实现也不能在多个具有不同性能的GPU之间自动扩展并达到负载均衡。提出任务并行式GEMM（TPGEMM），用细粒度任务并行的方式实现批量矩阵乘和多GPU矩阵乘。一个或多个GEMM的计算能够被拆分为多个任务，动态地调度到一个或多个GPU上。TPGEMM避免了为批量矩阵乘启动多个kernel函数的开销，对批量矩阵乘能够取得显著高于cuBLAS与MAGMA的性能。在低开销细粒度任务调度的基础上，TPGEMM支持单个GEMM计算在多个GPU间的自动并行，在一台具有四个不同性能GPU的工作站上取得了接近100%的扩展效率。

关键词：通用矩阵乘；持久化kernel；任务并行；负载均衡,