融合邻域注意力和状态空间模型的医学视频分割算法

来源：电子与信息学报杂志2025年第5期北京时间：

作者：丁建睿, 张听, 刘家栋, 宁春平

单位：1.哈尔滨工业大学(威海)计算机科学与技术学院 威海 2642092.青岛大学附属医院超声科 青岛 266003

摘要：在医学影像分析领域，精准分割视频中的病灶对于疾病的早期诊断和治疗至关重要。该文创新性地提出一种融合邻域注意力机制与状态空间模型的算法，旨在全面而精细地捕捉医学视频中的时空特征，从而对视频中的病灶进行准确分割。该算法通过两阶段的精心设计，显著提升了分割性能：第1阶段，通过深度卷积网络捕获低层次的空间语义信息，并借助邻域注意力机制，挖掘相邻帧间的局部时序语义关联。第2阶段，引入状态空间模型来捕捉全面的时序信息，并再次应用邻域注意力模块，进一步增强对局部时序特征的敏感度。该方法不仅有效整合了视频中丰富的时序信息，而且在局部和全局层面上实现了空间与时间特征的协同优化。相较于使用具有2次计算复杂度的自注意力机制，该文采用了具有线性计算复杂度的状态空间模型，显著提升了模型的训练效率和推理速度。所提算法在甲状腺超声视频数据集以及结肠息肉视频数据集CVC-ClinicDB和CVC-ColonDB上的交并比(IOU)指标分别达到了72.7%, 82.3%和72.5%，相比该文的基线模型Vivim分别提高了5.7%, 1.7%和5.5%。此外，消融实验进一步揭示了邻域注意力模块和状态空间模型在提取时序信息中发挥的关键作用。

关键词：医学视频分割, 邻域注意力机制, 状态空间模型

基金资助：国家自然科学基金(U22A2033)，山东省自然科学基金(ZR2020MH290)