基于跨模态特征融合的自闭症筛查研究

来源：电子测量技术杂志2026年第2期北京时间：

作者：黄嘉瑒，赵英亮，韩星程

单位：中北大学信息与通信工程学院 太原 030051

摘要：由于自闭症儿童早期在视觉注意方面存在异常，为早期干预提供了重要的区分标准。针对自闭症研究中对于模态间的语义对齐、动态交互等关注不足，本研究提出一种融合显著性图与眼动轨迹数据特征的多模态模型，为自闭症的诊断提供一种客观的实现方法。该方法构建了一个双流网络架构：采用U-Net特征提取器处理显著性图，利用时序卷积网络对眼动轨迹进行时序建模，为了实现两种不同模态数据间的动态加权融合，引入跨模态注意力机制。并在时序建模的过程中，同时进行眼动轨迹预测，额外将预测误差作为区分特征引入分类过程中，来提升模型的分类性能。通过对比实验验证，所提出的模型在自闭症早期筛查任务中取得了98.89%的准确率。

关键词：自闭症;显著性图;眼动轨迹;跨模态注意力机制;分类

基金资助：国家自然科学基金（62203405）、山西省应用基础研究计划基金（202303021212206）、山西省重点研发计划（202202110401015）项目资助