采用多视角注意力的声音事件定位与检测

来源：信号处理杂志 2024年第2期北京时间：

作者：杨吉斌, 黄翔, 张雄伟, 张强, 梅鹏程

摘要：近年来，基于深度学习的方法有效改进了声音事件定位与检测的性能，但当场景中存在多声源重叠时，准确的声源时空信息估计依然较为困难，声音事件定位与检测的性能存在较大提升空间。为充分挖掘多通道深层表示所包含的关键信息，本文提出了一种多视角注意力网络模型MVANet（Multi-View Attention Network）。首先，引入软参数共享网络架构实现不同任务之间的交互学习，计算多通道深层表示，在对比不同通道注意力结构的基础上，选择了一种轻量级的高效通道注意力模块ECA（Efficient Channel Attention）与多头自注意力模块MHSA（Multi-Head Self-Attention）结合，从通道、时间、频率三个视角关注深层表示中的关键特征，丰富高维特征信息。其次，对比了ECA模块和软参数共享架构在MVANet不同位置上的性能，确定了ECA模块和软参数共享在模型上的最佳实现位置，最大程度上提高模型对特征的挖掘能力。仿真结果表明，对于包含同类别重叠声事件的TAU-NIGENS Spatial Sound Events 2020数据集，本文提出的MVANet模型相比较于基线方法，检测和定位性能均得到了改善。在多声源场景下，检测错误率下降了0.03，定位误差下降了1.5°。

关键词：声音事件定位与检测, 深度学习, 多视角注意力, 通道注意力, 多头自注意力