跨模态跨尺度跨维度的PET/CT图像的Transformer分割模型

来源：电子与信息学报杂志2023年第10期北京时间：

作者：周涛, 党培, 陆惠玲, 侯森宝, 彭彩月, 师宏斌

单位：1.北方民族大学计算机科学与工程学院 银川 7500212.宁夏医科大学理学院 银川 7500043.北方民族大学图像图形智能处理国家民委重点实验室 银川 7500214.宁夏医科大学总医院泌尿外科 银川 750004

摘要：多模态医学图像能够有效融合解剖图像和功能图像的信息，将人体内部的功能、解剖等多方面信息反映在同一幅图像上，在临床上有十分重要的意义。针对如何高效利用多模态医学图像信息的综合表达能力，以及如何充分提取跨尺度上下文信息的问题，该文提出跨模态跨尺度跨维度的PET/CT图像的Transformer分割模型。该模型主要改进是，首先，在编码器部分设计了PET/CT主干分支和PET, CT辅助分支提取多模态图像信息；然后，在跳跃连接部分设计了跨模态跨维度注意力模块从模态和维度角度出发捕获跨模态图像各维的有效信息；其次，在瓶颈层构造跨尺度Transformer模块，自适应融合深层的语义信息和浅层的空间信息使网络学习到更多的上下文信息，并从中获取跨尺度全局信息；最后，在解码器部分提出多尺度自适应解码特征融合模块，聚合并充分利用解码路径得到精细程度不同的多尺度特征图，缓解上采样引入的噪声。在临床多模态肺部医学图像数据集验证算法的有效性，结果表明所提模型对于肺部病灶分割的Acc, Recall, Dice, Voe, Rvd和Miou分别为97.99%, 94.29%, 95.32%, 92.74%, 92.95%和90.14%，模型对于形状复杂的病灶分割具有较高的精度和相对较低的冗余度。

关键词：医学图像分割, 跨模态, 跨维度, Transformer, U型网络

基金资助：国家自然科学基金(62062003)，宁夏自然科学基金(2022AAC03149)，北方民族大学引进人才科研启动项目(2020KYQD08)