C2 Transformer U-Net：面向跨模态和上下文语义的医学图像分割模型

来源：电子与信息学报杂志2023年第5期北京时间：

作者：周涛, 侯森宝, 陆惠玲, 刘赟璨, 党培

单位：1.北方民族大学计算机科学与工程学院 银川 7500212.宁夏医科大学理学院 银川 7500043.北方民族大学图像图形智能处理国家民委重点实验室 银川 750021

摘要：跨模态的医学图像可以在同一病灶处提供更多的语义信息，针对U-Net网络主要使用单模态图像用于分割，未充分考虑跨模态、上下文语义相关性的问题，该文提出面向跨模态和上下文语义的医学图像分割C2 Transformer U-Net模型。该模型的主要思想是：首先，在编码器部分提出主干、辅助U-Net网络结构，来提取不同模态的语义信息；然后，设计了多模态上下文语义感知处理器(MCAP)，有效地提取同一病灶跨模态的语义信息，跳跃连接中使用主网络的两种模态图像相加后传入Transformer解码器，增强模型对病灶的表达能力；其次，在编-解码器中采用预激活残差单元和Transformer架构，一方面提取病灶的上下文特征信息，另一方面使网络在充分利用低层和高层特征时更加关注病灶的位置信息；最后，使用临床多模态肺部医学图像数据集验证算法的有效性，对比实验结果表明所提模型对于肺部病灶分割的Acc, Pre, Recall, Dice, Voe与Rvd分别为：97.95%, 94.94%, 94.31%, 96.98%, 92.57%与93.35%。对于形状复杂肺部病灶的分割，具有较高的精度和相对较低的冗余度，总体上优于现有的先进方法。

关键词：医学图像分割, 跨模态语义, 上下文语义, Transformer, U-Net

基金资助：国家自然科学基金(62062003)，宁夏自治区重点研发计划(2020BEB04022)，宁夏自然科学基金(2022AAC03149)，北方民族大学引进人才科研启动项目(2020KYQD08)