基于Mamba自注意力和多模态融合的DVT风险预测

来源：电子测量技术杂志2026年第9期北京时间：

作者：肖连禹，陆向艳

单位：1.广西大学计算机与电子信息学院 南宁 530004; 2.中国人民解放军陆军军医大学第一附属医院 重庆 400037

摘要：深静脉血栓可能导致肺栓塞等严重并发症危及患者生命安全，早期进行DVT风险预测具有重要临床意义。针对当前DVT风险预测存在仅对单一结构化文本数据或图像数据进行预测，未有结合这两种模态数据进行预测的方法及深度学习最新模型应用于DVT风险预测方法较少这两个挑战问题。本研究将Mamba状态空间模型与多模态融合结合，首次提出一种基于Mamba自注意力机制和多模态融合的DVT风险预测方法。所提方法以患者超声影像和病史、实验室检验指标等结构化文本数据作为多模态输入数据，首先构建双通道特征编码框架，该框架利用ViT编码捕获医学超声图像特征，DNN编码获取结构化临床数据特征；然后设计基于Mamba自注意力和多模态特征融合框架，该框架首先拼接图像和结构化文本特征得到联合特征，采用原始Mamba训练联合特征得到多模态融合特征，然后设计Mamba自注意力、前馈网络和CNN实现多模态数据全局和局部、高层和底层特征提取和融合，实现多角度保留原始多模态特征；最后进行多层次MLP特征降维获得DVT预测结果。在临床数据集上与其他13种组合模型进行对比实验，结果表明该模型效果最佳，AUC达到0.912，较结构化数据单模态方法平均提高了11.97%，F1分数平均提高了13%。与传统图像数据单模态对比模型AUC平均提高14.7%，准确率和F1分数均提高20%以上。在多模态对比模型中，该模型与表现较优的ResNet与Transformer融合的模型（AUC=0.871）相比，其准确率、精确率、召回率、F1分数均约提高了6%，与同结构的Transformer混合模型相比，AUC与其余4项性能评估指标以及模型推理速度都提高20%以上。结果表明本研究中的模型为DVT的早期预防和预测提供了有力支持，具有良好的应用前景和临床价值。

关键词：Mamba;自注意力;多模态;深静脉血栓DVT;预测;多层级融合

基金资助：广西软科学研究计划（桂科AB17205002）、广西多源信息挖掘与安全重点实验室开放基金（MIMS20-06）、重庆市社会科学规划博士和培育项目(2025PY27)资助