深度学习平台体系架构及其关键技术

来源：计算机应用研究杂志2023年第11期北京时间：

作者：束柬,陈剑波,

单位：1.科大讯飞股份有限公司人工智能研究院,合肥230088；2.认知智能国家重点实验室,合肥230088；3.中国科学技术大学计算机学院,合肥230026；

摘要：针对AI模型生产和训练，传统基于脚本的物理单机或集群方式存在训练推理割裂、资源利用不充分、计算环境难迁移、训练流程冗长等问题，提出了一种面向深度学习模型训练的平台体系架构，架构分为数据平台层、计算平台层、训练套件层以及管理平台层四层，并逐层进行分析。在关键技术上，首先提出了训练推理一体化框架，采用抽象的计算流图屏蔽网络结构差异，并进行图优化；其次，提出了GPU状态感知的自适应资源匹配机制，采用环形消除算法解决通信成本线性增长问题；同时，提出基于启发式算法的标签匹配调度算法，以提高资源利用率；并且，通过租户管理和容灾机制的建立保障了系统平台的安全可靠性。最终搭建仿真平台验证其可用性、安全可靠性和拓展性。通过深度学习平台的应用，可以帮助企业更简易快捷地训练定制化模型和使用个性化服务，加速AI生产落地，推动AI技术和整个生态的繁荣发展。

关键词：人工智能,模型训练,深度学习,体系架构,容器化,

基金资助：国家自然科学基金重点项目(72131006)；合肥市博士后科研活动项目经费(20210901)；；