密集帧率采样的视频标题生成

来源：计算机科学与探索杂志2018年第6期北京时间：

作者：汤鹏杰，谭云兰，李金忠，谭彬

单位：1. 井冈山大学 数理学院，江西 吉安 3430092. 井冈山大学 流域生态与地理环境监测国家测绘地理信息局重点实验室，江西 吉安 3430093. 同济大学 计算机科学与技术系，上海 2018044. 井冈山大学 电子与信息工程学院，江西 吉安 343009

摘要：使用固定时间间隔取帧的方式用于视频标题生成，易导致多种静态或动态信息丢失，使得生成的句子质量难以提高。针对这一问题，提出了一种使用密集帧率采样的标题生成方法（dense frame rate sampling based captioning model，DFS-CM），将视频分为多个长度统一的片段，提取片段中所有视频帧的深度CNN（convolutional neural network）特征，然后使用均值或最大值方法，降低了特征数量，增强了特征的稀疏程度；同时，还改善了模型的训练策略，增强了模型的稳定性和泛化能力。最后在S2VT框架的基础上，使用GoogLeNet和ResNet-152两种CNN模型，对所提方法进行了验证。在Youtube2Text数据集上的实验结果表明，无论是采用均值特征还是最大值特征，其模型性能与基准模型相比均得到了改善，尤其是使用ResNet-152和最大值方式，其B@4和CIDEr分别达到了47.1%和34.1%。

关键词：视频,标题生成,GoogLeNet,ResNet,长短时记忆（LSTM）,密集帧率采样