基于倒金字塔深度学习网络的三维医学图像分割
来源：计算机工程杂志2022年第12期北京时间：
作者：张相芬, 刘艳, 袁非牛
单位：上海师范大学 信息与机电工程学院, 上海 201400
摘要：基于深度学习的医学图像分割对医学研究和临床疾病诊断具有重要意义。然而，现有三维脑图像分割网络仅依赖单一模态信息，且最后一层网络的特征表达不准确，导致分割精度降低。引入注意力机制，提出一种基于深度学习的多模态交叉重构的倒金字塔网络MCRAIP-Net。以多模态磁共振图像作为输入，通过三个独立的编码器结构提取各模态的特征信息，并将提取的特征信息在同一分辨率级进行初步融合。利用双通道交叉重构注意力模块实现多模态特征的细化与融合。在此基础上，采用倒金字塔解码器对解码器各阶段不同分辨率的特征进行整合，完成脑组织的分割任务。在MRBrainS13和IBSR18数据集上的实验结果表明，相比3D U-Net、MMAN、SW-3D-Unet等网络，MCRAIP-Net能够充分利用多模态图像的互补信息，获取更准确丰富的细节特征且具有较优的分割精度，白质、灰质、脑脊液的Dice系数分别达到91.67%、88.95%、84.79%。
关键词：多模态融合,交叉重构注意力,倒金字塔解码器,医学图像分割,深度学习
基金资助：国家自然科学基金（61862029，62171285）；上海师范大学普通研究基金（KF2021100）。
