利用跨模态轻量级YOLOv5模型的PET/CT肺部肿瘤检测

来源：电子与信息学报杂志2024年第2期北京时间：

作者：周涛, 叶鑫宇, 刘凤珍, 陆惠玲

单位：1.北方民族大学计算机科学与工程学院 银川 7500212.宁夏医科大学医学信息工程学院 银川 7500043.北方民族大学图像图形智能处理国家民委重点实验室 银川 750021

摘要：多模态医学图像可在同一病灶处提供更多语义信息，针对跨模态语义相关性未充分考虑和模型复杂度过高的问题，该文提出基于跨模态轻量级YOLOv5(CL-YOLOv5)的肺部肿瘤检测模型。首先，提出学习正电子发射型断层显像(PET)、 计算机断层扫描(CT)和PET/CT不同模态语义信息的3分支网络；然后，设计跨模态交互式增强块充分学习多模态语义相关性，余弦重加权计算Transformer高效学习全局特征关系，交互式增强网络提取病灶的能力；最后，提出双分支轻量块， 激活函数簇(ACON)瓶颈结构降低参数同时增加网络深度和鲁棒性，另一分支为密集连接的递进重参卷积，特征传递达到最大化，递进空间交互高效地学习多模态特征。在肺部肿瘤PET/CT多模态数据集中，该文模型获得94.76% mAP最优性能和3238 s最高效率，以及0.81 M参数量，较YOLOv5s和EfficientDet-d0降低7.7倍和5.3倍，多模态对比实验中总体上优于现有的先进方法，消融实验和热力图可视化进一步验证。

关键词：YOLOv5, 跨模态交互式增强块, 双分支轻量块, PET/CT多模态肺部肿瘤影像

基金资助：国家自然科学基金(62062003)，宁夏自然科学基金(2022AAC03149)，宁夏回族自治区重点研发计划(2020BEB04022)