基于智能网卡优化的存算分离式推荐系统计算节点

来源：计算机工程杂志2026年第3期北京时间：

作者：石睿欣, 严明, 吴杰

单位：复旦大学计算机科学技术学院, 上海 200433

摘要：当今工业界通常使用基于深度学习的推荐系统为用户进行定制化推荐, 在常见的存算分离式推理架构中推荐系统的推理速度受限于嵌入层查询部分导致的节点间网络传输瓶颈。新兴的智能网卡技术可以在避免对主机中央处理器(CPU)争用的基础上, 实现复杂流量控制, 为存算分离式推荐系统的嵌入层优化提供新的可能。设计并实现一种基于智能网卡优化的存算分离式推荐系统计算节点——SmartWN(SmartNIC-offloaded Worker Node)。SmartWN利用智能网卡的独立计算与通信能力, 在保证计算节点主机资源不受影响的前提下, 实现了嵌入层查询顺序调度与预准备以及基于流量的多表动态缓存管理, 使推荐系统推理时大幅提高了嵌入层查询的通信效率与缓存利用率, 降低了嵌入层查询时延, 提升了存算分离式推荐系统的推理性能。在智能网卡NVIDIA BlueField-2上实现了SmartWN原型并验证了性能提升, 与现有技术相比, 使用SmartWN作为存算分离式推荐系统计算节点最高提升了2.13倍的推理时嵌入层查询吞吐量, 并降低了约50.6%的嵌入层查询尾部时延。

关键词：智能网卡,推荐系统,存算分离,缓存管理,嵌入层查询,性能优化

基金资助：国家重点研发计划社会治理与智慧社会科技支撑重点专项(2021YFC3300600)