《计算机工程与科学杂志》发表论文赏析

基于深浅层特征融合的无监督视频摘要算法研究

来源:计算机工程与科学杂志2023年第9期北京时间:

作者:曾凡锋, 王春真, 李琛

单位:北方工业大学信息学院,北京 100144

摘要:针对现有无监督视频摘要算法对视频帧重要性判断不准确的问题,提出一种基于深浅层特征融合的无监督视频摘要算法。视频帧的深层特征由卷积神经网络(CNN)进行提取;浅层特征先由加速稳健特征(SURF)算子提取,再使用词袋(BOW)模型进行编码;最后将深层特征与浅层特征进行融合,丰富特征描述符的信息,作为网络模型的输入。使用双向长短期记忆网络(BiLSTM)对时序信息建模并输出帧重要性得分,采用强化学习的方式优化模型。在生成静态视频摘要时,设计了一个基于局部极大值的关键帧筛选方法,遵循了原视频的时序结构同时避免冗余。在SumMe和TVSum数据集上与多个无监督视频摘要算法进行对比,实验结果表明所提算法能够对视频内容做出更准确的判断,并生成了更高质量的摘要。

关键词:视频摘要,特征融合,双向长短期记忆(BiLSTM)网络,强化学习,局部极大值,

基金资助:北京市属高校青年拔尖人才培育计划(CIT&TCD201904009)

2023年9期其他文献查阅:

ParM:基于国产处理器的异构并行编程模型

RISC-V基础数学库性能优化

适用于边缘计算的6H并行计算架构

时间敏感网络下的一种新型灵活门控机制

可用性增强的缩略图保持加密

基于双重检索修正域名系统的最长匹配规则

基于孪生网络的目标跟踪算法综述

孪生注意力门控融合的遥感图像变化检测编解码网络

基于深浅层特征融合的无监督视频摘要算法研究

基于多对抗性鉴别网络的人脸活体检测

一种用Sigmoid函数进行加权融合的图像去雾算法

融入重心反向学习和单纯形搜索的粒子群优化算法

基于模型混合的智能交易行为异常检测

多策略改进的混沌哈里斯鹰优化算法

基于局部障碍率预获取和双向父节点变更的A*算法优化

基于改进自适应DBSCAN的混合式MOOC视频观看模式挖掘

基于邻域搜索的改进反向学习平衡优化器算法

融合GA-CART和Deep-IRT的知识追踪模型

基于异构图病历注意力网络的临床辅助诊断研究

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!