面向边缘智能的神经网络模型生成与部署研究

来源：计算机工程杂志2024年第8期北京时间：

作者：谭郁松, 李恬, 张钰森

单位：国防科技大学计算机学院, 湖南 长沙 410073

摘要：随着移动计算、第五代移动通信技术(5G)以及物联网(IoT)技术的不断演进, 各类终端设备的数量呈现指数级增长。这种激增的终端设备连接到网络产生了巨大的数据流, 对于需要实时处理和快速响应用户任务的需求提出了新的挑战。尤其是在这些海量数据中, 半结构化和非结构化数据所占比例较大, 这使得神经网络因其独特的优势而得到了广泛应用。为了提高数据处理能力和推理精度, 神经网络模型会被设计得非常复杂, 其存储和运行均需要消耗大量的计算资源。然而, 边缘设备通常只配置有限的计算资源, 无法满足存储和运行复杂神经网络模型的需求, 需要借助云计算中心来完成这些任务。这种云协同会引发响应延时和增加网络带宽消耗, 并带来用户隐私数据泄露等潜在风险。为了解决这些问题, 提出一种面向边缘智能的神经网络模型快速生成与自动化部署(NGD)方法, 根据边缘设备的硬件配置和承载的具体计算任务需求, 生成与其匹配的神经网络模型, 并将其快速部署在目标设备上, 实现设备本地推理。在3种典型的硬件平台上的神经网络模型生成与部署实验结果表明, NGD方法能够高效地为资源受限的边缘设备生成匹配的神经网络模型, 并快速地将其部署在设备上进行推理任务。

关键词：边缘智能,设备端推理,模型生成,自动化部署,边缘设备

基金资助：国家自然科学基金(U19A2060)