基于条件变分自编码器的端到端情感语音合成方法

来源：信号处理杂志 2023年第4期北京时间：

作者：张建明, 彭锦涛, 贾洪杰, 毛启容

摘要：情感语音合成作为语音合成的一个重要分支，在人机交互领域得到了广泛的关注。如何获得更好的情感嵌入并有效地将其引入到语音合成声学模型中是目前主要存在的问题。表达性语音合成往往从参考音频中获得风格嵌入，但只能学习到风格的平均表示，无法合成显著的情感语音。该文提出一种基于条件变分自编码器的端到端情感语音合成方法（Conditional Duration-Tacotron，CD-Tacotron），该方法在Tacotron2模型的基础上进行改进，引入条件变分自编码器从语音信号中解耦学习情感信息，并将其作为条件因子，然后通过使用情感标签将其编码为向量后与其他风格信息拼接，最终通过声谱预测网络合成情感语音。在ESD数据集上的主观和客观实验表明，与目前主流的方法GST-Tacotron和VAE-Tacotron相比，该文提出的方法可以生成更具表现力的情感语音。

关键词：‍‍情感语音合成, 条件变分自编码器, 端到端, Tacotron