面向多源信息聚类与私有特征学习的情感分析

来源：计算机工程与应用杂志2025年第24期北京时间：

作者：钟婷, 冯广, 林健忠, 杨燕茹, 周垣桦, 郑润庭, 刘天翔

单位：1.广东工业大学 自动化学院，广州 510006；2.广东工业大学 计算机学院，广州 510006

摘要：针对目前情感分析模型的研究大多侧重于文本模态处理，而音频和视频模态的处理相对简单，未能充分挖掘其在增强情感信息方面的潜力，并且存在跨模态特征融合中的信息冗余问题。为此，提出了一种名为面向多源信息聚类与私有特征学习的情感分析的模型。引入隐性聚类的思维，通过跨模态注意力机制优化音视频与文本特征的互补能力，将不同模态的特征划分为若干类簇，以减少无关信息对融合过程的干扰。进一步地，通过特征一致性增强机制使用马氏距离度量方法对音视频模态特征进行增强和过滤，从而提升情感信息密度。与此同时，采用自适应权重调控机制，根据类簇的语义一致性来调节音视频模态的融合权重比例，并结合文本模态来消除模态间的语义歧义。此外，模型还引入自监督学习策略，进一步增强单模态的情感预测能力，帮助模型学到各模态的独特特性。实验结果表明，在CMU-MOSEI和CMU-MOSI数据集上，该模型在情感分类任务中的表现显著提升，验证了其在多模态信息融合和冗余信息抑制方面的有效性。

关键词：多模态情感分析,注意力机制,隐性聚类,马氏距离,自监督学习