情感可控的个性化完整三维虚拟形象表情动画生成

来源：信号处理杂志 2025年第2期北京时间：

作者：李俊沂, 庞德龙, 蔡明旭, 周圣喻, 余旻婧

摘要：语音驱动的三维虚拟形象情感表情动画，旨在合成与输入语音具有同步嘴唇动作和面部表情的三维人脸动画。然而，现有方法受限于三维人脸先验，在合成具有口腔内部结构的三维人脸动画方面存在一定的局限性，导致最终生成结果缺乏真实感。此外，现有多数方法往往重点关注虚拟形象唇部动作与语音的同步，而较少关注语音情感变化对面部表情的影响，使得生成的表情动画不够自然，真实感受到限制，影响了用户体验。针对以上问题，本文提出了一种情感可控的个性化完整三维虚拟形象表情动画生成方法，以生成具有完整口腔结构和丰富情感表情的人脸动画，提高三维虚拟形象的真实感。该方法由三个核心模块组成：具有完整口腔结构的中性表情动画生成模块、表情检索模块和表情融合模块。具有完整口腔结构的中性表情动画生成模块首先通过基于Transformer的自回归模型实现语音到三维人脸动画序列的跨模态映射，输出中性人脸动画序列，并通过交叉监督的训练图，引入了文本驱动的一致性损失，确保了输入语音与嘴唇区域的同步性。接着，本文在该模块中提出并应用了一种基于人脸关键点的口腔结构三维模型形变算法，依次将生成的口腔模型与对应的中性人脸动画序列进行融合，输出包含口腔结构的中性表情模型序列。表情检索模块根据输入的语音序列和人脸图片进行情感识别和检索，获取带有情感的三维人脸模型。表情融合模块通过深度神经网络将包含口腔结构的中性表情动画与带有情感的三维人脸模型融合，生成具有口腔结构与情感表情的三维人脸表情动画。此外，本文还提出了一种基于线性插值的表情过渡算法实现了表情动画在多种情绪间的平滑过渡。现有实验表明，本文生成的包含口腔结构且具有情感表情的三维人脸动画均能在保持唇部动作与语音同步的同时，有效提高三维虚拟形象的真实感。

关键词：语音驱动, 情绪驱动, 三维虚拟形象, 面部表情动画