融合注意力机制的IETM细粒度跨模态检索算法
来源:系统工程与电子技术杂志2023年第12期北京时间:
作者:翟一琛, 顾佼佼, 宗富强, 姜文志
单位:海军航空大学岸防兵学院, 山东 烟台 264001
摘要:交互式电子手册是提高各类装备保障信息化、智能化的关键技术之一, 针对其检索模态单一的问题, 以其数据中图文描述为研究对象, 提出一种融合注意力机制的细粒度跨模态检索算法。针对数据中图像简图较多、色彩单一等特点, 特征提取模块使用Vision Transformer模型和Transformer编码器分别获得图文的全局和局部特征; 使用注意力机制在图文模态间及模态内部挖掘细粒度信息, 加入文本对抗训练增强模型泛化能力, 采用跨模态联合损失函数对模型进行约束。在Pascal Sentence数据集和自建数据集上进行验证, 所提方法的平均精度均值分别达到了0.964和0.959, 较基准模型(深度监督跨模态检索)分别提升了0.248和0.214。
关键词:交互式电子手册,图文检索,跨模态,注意力机制
2023年12期其他文献查阅:
基于SMOTE和深度迁移卷积神经网络的多类不平衡遥感图像分类算法研究
地面目标HRRP识别的稳健性特征选择方法
基于通信域和雷达域融合特征的无人机集群类型识别算法
改进YOLOv5的合成孔径雷达图像舰船目标检测方法
一种小舵角旋回水下目标的被动检测方法
时域离散类主瓣干扰下基于样本识别的雷达和差测角方法
面向线性调频干扰的空频自适应处理算法
随机有限集推理动目标轨迹的相干累积检测法
基于多接收机协同的无源测向及SAR欺骗干扰方法研究
海面雷达散射及其杂波幅度统计特性的空间遍历性数值仿真研究
频率捷变波形联合时频滤波器抗间歇采样转发干扰
随机样本选择的合成孔径雷达距离空变相位梯度自聚焦算法
基于非标准Keystone变换的捷变频雷达相参积累算法
一种基于最大似然估计的宽带单脉冲测角改进方法
新体制机载雷达波形优化设计研究综述
航天复杂系统测发控流程仿真引擎设计与评价
数据驱动的大群体应急决策公众专家动态协同方法
基于大样本数据的机场业务量需求预测方法
未知城市环境下的多机协同目标搜索方法研究
基于混合遗传算法的海军航空兵场站物资配送车辆调度智能优化
融合注意力机制的IETM细粒度跨模态检索算法
基于SAAS的LVC装备试验资源实时调度模型研究
基于机动动作类型识别的飞行员飞行训练质量自动评估方法
子母型航天器抵近观测任务流程规划方法研究
基于改进单元分解法的全覆盖路径规划
一种空间碎片主动清除任务规划方法
概率神经网络多历元残差RAIM算法
改进速度障碍法的无人艇局部路径规划
基于多视线融合的高轨近场感知队形设计
基于优化A*和MPC融合算法的三维无人机航迹规划
变结构交互式多模型滤波和平滑算法
基于SDRE的变体飞行器LPV稳定控制
基于国密算法的伪卫星导航信号认证方法研究
基于NFM-BOK波形的低检测概率通信技术
基于四维混沌系统的改进AES图像加密算法
一种域间效能优先的二阶段控制器均衡部署策略
一种MTC快速上行授权接入改进算法
基于元件降额设计的温度步进强化试验剖面设计
基于协同平衡的可靠性冗余设计优化算法
基于因果关系的故障传播路径辨识方法研究