多粒度对比增强的医学影像报告生成

来源：计算机工程与应用杂志2025年第24期北京时间：

作者：刘玉雪, 张俊三, 王子轩, 李向阳, 李俊亮, 吴春雷

单位：1.中国石油大学（华东） 青岛软件学院、计算机科学与技术学院，山东 青岛 266580；2.康复大学（筹），山东 青岛 266113；3.山东浪潮智能医疗科技有限公司，济南 250101

摘要：医学影像报告自动生成技术近年来取得了显著进展，但生成报告仍面临可读性差、病变描述不准确和不完整等问题。其主要原因包括：医学图像的清晰度低、对比度差以及跨模态特征差异较大。为了解决这些问题，提出一种多粒度对比增强的医学影像报告生成方法。设计视觉-语义对比校正模块，通过构建多种对比样本，从实例、图像和病理区域的多粒度层次校准视觉特征，增强特征的区分性和泛化能力。设计波形感知特征交互模块，利用单塔特征融合结构，将视觉特征与文本特征分解为振幅和相位，并通过模仿波状信号的调制解调实现细粒度特征的对齐，提升跨模态特征的语义一致性。在IU X-Ray和MIMIC-CXR数据集上的实验表明，提出的方法在NLG指标得分以及报告生成的准确性、完整性和流畅度方面优于现有方法。

关键词：医学影像报告生成,对比学习,跨模态特征融合,自然语言生成