基于视频场景深度学习的人物语义识别模型

来源：计算机技术与发展杂志2018年第06期北京时间：

作者：高翔;陈志;岳文静;龚凯

摘要：为有效分析和整合与人物行为相关的视频语义线索,提出一种基于视频场景深度学习的人物语义识别模型。 该模型由中层语义特征提取、多通道语义特征融合、整体精调和语义识别等组成。 首先实现底层图像到中层特征抽取,利用卷积神经网络算法并行获取视频场景关键帧集中的人物身份、人物行为、上下文环境等通道语义;再将中层特征融合到同一个语义融合层,通过多层语义卷积神经网络来整合上述语义,使用损失函数来学习不同通道语义之间的潜在关系,提高人物语义融合的鲁棒性;最终通过大间隔的损失函数来精调整个网络的参数,利用 SVM 分类器完成视频人物语义识别。实验结果表明,该模型在特定的数据集上具有较高的准确率,能够高效地识别视频人物语义。

关键词：视频挖掘;深度学习;卷积神经网络;人物语义;支持向量机