基于声音与视觉特征多级融合的鱼类行为识别模型U-FusionNet-ResNet50+SENet

来源：大连海洋大学学报杂志2023年第2期北京时间：

作者：胥婧雯, 于红, 张鹏, 谷立帅, 李海清, 郑国伟, 程思奇, 殷雷明

单位：1.大连海洋大学 信息工程学院，辽宁省海洋信息技术重点实验室，辽宁 大连 116023；2.设施渔业教育部重点实验室(大连海洋大学)，辽宁 大连 116023；3.大连海洋大学 水产与生命学院，辽宁 大连 116023

摘要：为解决在光线昏暗、声音与视觉噪声干扰等复杂条件下，单模态鱼类行为识别准确率和召回率低的问题，提出了基于声音和视觉特征多级融合的鱼类行为识别模型U-FusionNet-ResNet50+SENet，该方法采用ResNet50模型提取视觉模态特征，通过MFCC+RestNet50模型提取声音模态特征，并在此基础上设计一种U型融合架构，使不同维度的鱼类视觉和声音特征充分交互，在特征提取的各阶段实现特征融合，最后引入SENet构成关注通道信息特征融合网络，并通过对比试验，采用多模态鱼类行为的合成加噪试验数据验证算法的有效性。结果表明：U-FusionNet-ResNet50+SENet对鱼类行为识别准确率达到93.71%，F1值达到93.43%，召回率达到92.56%，与效果较好的已有模型Intermediate-feature-level deep model相比，召回率、F1值和准确率分别提升了2.35%、3.45%和3.48%。研究表明，所提出的U-FusionNet-ResNet50+SENet识别方法，可有效解决单模态鱼类行为识别准确率低的问题，提升了鱼类行为识别的整体效果，可以有效识别复杂条件下鱼类的游泳、摄食等行为，为真实生产条件下的鱼类行为识别研究提供了新思路和新方法。

关键词：行为识别,深度学习,多模态融合,U-FusionNet,ResNet50,SENet

基金资助：辽宁省教育厅重点科研项目(LJKZ0729 )；国家自然科学基金(31972846)