基于多层次多尺度注意力融合网络的多模态眼底疾病诊断模型

来源：吉林大学学报·理学版杂志2025年第3期北京时间：

作者：郭晓新, 杨梅, 杨广奇, 董洪良, 徐海啸

单位：1. 吉林大学 计算机科学与技术学院, 长春 130012； 2. 吉林大学 符号计算与知识工程教育部重点实验室, 长春 130012

摘要：针对单模态眼底图像提取眼底特征的局限性, 提出一个基于多层次多尺度注意力融合网络的多模态眼底疾病诊断模型. 首先, 分别针对彩色眼底图像和视网膜光学相干断层成像设计多层次注意力网络和多尺度注意力网络, 并在特征层进行融合得到融合特征； 其次, 将两种模态的损失函数加权, 与融合特征的损失函数相加, 提取模态的独特和互补信息, 以提高眼底疾病诊断的准确率. 在数据集MMC-AMD和GAMMA上进行评估的实验结果表明, 该模型优于当前主流模型, 诊断效果优越.

关键词：医学图像分类,眼底疾病诊断模型,多模态分类,注意力机制