基于图卷积与Transformer的缺失模态脑肿瘤分割

来源：计算机技术与发展杂志2025年第07期北京时间：

作者：王彩莲;郑文斌

摘要：多模态磁共振成像(MRI)在脑肿瘤分割中具有重要应用,但模态缺失问题在临床中普遍存在,导致肿瘤区域细节丢失及模态间关联性遭到破坏等问题,显著降低分割性能。 为此,该文提出一种基于图卷积与 Transformer 融合的缺失模态脑肿瘤分割模型。 模型首先采用三维卷积与 MBConv 结合的编码器模块提取局部特征,并利用三维适配器捕获脑肿瘤的空间信息,增强模态内特征表达能力。 随后,设计了动态图卷积-Transformer 融合模块:其中,动态图卷积用于生成模态相关性矩阵,捕获模态间局部依赖关系,并结合掩码机制有效处理模态缺失;同时,Transformer 模块则通过自注意力机制建模模态与肿瘤区域的全局相关性与上下文信息,从而显著提升特征融合鲁棒性。 在 BraTS2018 和 BraTS2020 数据集上的实验结果表明,该模型在完整肿瘤、肿瘤核心及增强肿瘤区域的平均 Dice 系数较M2FTrans 分别提升 1. 36 百分点、1. 28 百分点和 1. 39 百分点,验证了其在模态缺失场景下的优越性。

关键词：脑肿瘤分割;缺失模态;三维适配器;动态图卷积;Transformer