面向CT图像新冠肺炎识别的密集重参轻量化Transformer模型

来源：电子与信息学报杂志2023年第10期北京时间：

作者：周涛, 叶鑫宇, 刘凤珍, 陆惠玲, 周敬策, 杜玉虎

单位：1.北方民族大学计算机科学与工程学院 银川 7500212.宁夏医科大学理学院 银川 7500043.江南大学人工智能与计算机学院 无锡 2141224.北方民族大学图像图形智能处理国家民委重点实验室 银川 750021

摘要：新冠(COVID-19)肺炎严重威胁人类健康，基于深度学习的计算机辅助诊断方法能有效提高新冠肺炎的诊断效率。但是深度学习模型结构复杂、参数量和计算量大，在保持模型性能的前提下提高网络轻量化的程度具有重要研究意义，因此，该文提出一种面向CT图像新冠肺炎识别的密集重参轻量化Transformer模型(DRLTransformer)。首先，为提高模型的轻量化程度，构造了重参密集块和层次化Transformer，在保持模型精度的同时提高计算速度，降低模型参数量；然后，为充分提取新冠肺炎病灶的全局与局部信息，设计层次化Transformer增强全局注意力对局部特征相关性的关注程度，其中采用分组提取全局特征，在不同组之间进行融合获得多层次信息，并且进行信息融合，进一步提高组内和组间特征的交互能力，此外对所有全局特征进行聚合，实现深浅层特征深度融合。最后，在新冠肺炎CT数据集中进行对比实验，结果表明该模型参数量和计算量分别为1.47 M和81.232 M，相比密集网络(DenseNet)参数量降低29倍、计算量降低23倍，该模型对新冠肺炎计算机辅助诊断具有积极的意义，为深度学习模型轻量化提供了新思路。

关键词：新冠肺炎, 密集网络, 重参密集块, 层次化Transformer, 轻量化

基金资助：国家自然科学基金(62062003)，宁夏自然科学基金(2022AAC03149)，宁夏自治区重点研发计划(2020BEB04022)，北方民族大学2022年研究生创新项目(YCX22198)