《系统工程与电子技术杂志》发表论文赏析

融合注意力机制的IETM细粒度跨模态检索算法

来源:系统工程与电子技术杂志2023年第12期北京时间:

作者:翟一琛, 顾佼佼, 宗富强, 姜文志

单位:海军航空大学岸防兵学院, 山东 烟台 264001

摘要:交互式电子手册是提高各类装备保障信息化、智能化的关键技术之一, 针对其检索模态单一的问题, 以其数据中图文描述为研究对象, 提出一种融合注意力机制的细粒度跨模态检索算法。针对数据中图像简图较多、色彩单一等特点, 特征提取模块使用Vision Transformer模型和Transformer编码器分别获得图文的全局和局部特征; 使用注意力机制在图文模态间及模态内部挖掘细粒度信息, 加入文本对抗训练增强模型泛化能力, 采用跨模态联合损失函数对模型进行约束。在Pascal Sentence数据集和自建数据集上进行验证, 所提方法的平均精度均值分别达到了0.964和0.959, 较基准模型(深度监督跨模态检索)分别提升了0.248和0.214。

关键词:交互式电子手册,图文检索,跨模态,注意力机制

2023年12期其他文献查阅:

基于SMOTE和深度迁移卷积神经网络的多类不平衡遥感图像分类算法研究

地面目标HRRP识别的稳健性特征选择方法

基于通信域和雷达域融合特征的无人机集群类型识别算法

改进YOLOv5的合成孔径雷达图像舰船目标检测方法

一种小舵角旋回水下目标的被动检测方法

时域离散类主瓣干扰下基于样本识别的雷达和差测角方法

面向线性调频干扰的空频自适应处理算法

随机有限集推理动目标轨迹的相干累积检测法

基于多接收机协同的无源测向及SAR欺骗干扰方法研究

海面雷达散射及其杂波幅度统计特性的空间遍历性数值仿真研究

频率捷变波形联合时频滤波器抗间歇采样转发干扰

随机样本选择的合成孔径雷达距离空变相位梯度自聚焦算法

基于非标准Keystone变换的捷变频雷达相参积累算法

一种基于最大似然估计的宽带单脉冲测角改进方法

新体制机载雷达波形优化设计研究综述

航天复杂系统测发控流程仿真引擎设计与评价

数据驱动的大群体应急决策公众专家动态协同方法

基于大样本数据的机场业务量需求预测方法

未知城市环境下的多机协同目标搜索方法研究

基于混合遗传算法的海军航空兵场站物资配送车辆调度智能优化

融合注意力机制的IETM细粒度跨模态检索算法

基于SAAS的LVC装备试验资源实时调度模型研究

基于机动动作类型识别的飞行员飞行训练质量自动评估方法

子母型航天器抵近观测任务流程规划方法研究

基于改进单元分解法的全覆盖路径规划

一种空间碎片主动清除任务规划方法

概率神经网络多历元残差RAIM算法

改进速度障碍法的无人艇局部路径规划

基于多视线融合的高轨近场感知队形设计

基于优化A*和MPC融合算法的三维无人机航迹规划

变结构交互式多模型滤波和平滑算法

基于SDRE的变体飞行器LPV稳定控制

基于国密算法的伪卫星导航信号认证方法研究

基于NFM-BOK波形的低检测概率通信技术

基于四维混沌系统的改进AES图像加密算法

一种域间效能优先的二阶段控制器均衡部署策略

一种MTC快速上行授权接入改进算法

基于元件降额设计的温度步进强化试验剖面设计

基于协同平衡的可靠性冗余设计优化算法

基于因果关系的故障传播路径辨识方法研究

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!