基于申威众核架构的层归一化加速与优化

来源：计算机测量与控制杂志2026年第2期北京时间：

作者：王鑫,姚柄彤

单位：江南大学

摘要：针对层归一化在高性能计算中面临的访存密集性问题，提出以申威众核处理器为平台的并行层归一化计算方案。该方案的核心思想是高效利用SW26010P众核处理器的计算资源和传输带宽，通过采用两种不同的分核策略对数据进行划分，结合双缓冲机制、DMA技术和SIMD向量化等优化手段，来实现计算任务的并行化处理。实验测试结果表明，与主核串行算法相比，使用并行层归一化可以获得55.48的最高加速比。与使用SIMD指令优化前的并行层归一化相比，经过SIMD指令对并行层归一化进行数据并行优化的最大有效算力为28.25 GFLOPS。

关键词：高性能计算，申威众核处理器，层归一化，访存密集，并行计算

基金资助：高等学校学科创新引智计划项目（B23008）