基于分离对比学习的个性化语音合成

来源：计算机工程与应用杂志2023年第22期北京时间：

作者：尚影, 韩超, 吴克伟

单位：1.阜阳幼儿师范高等专科学校 小学教育学院，安徽 阜阳 236015；2.合肥工业大学 计算机与信息学院，合肥 230601

摘要：个性化语音合成是指根据目标说话人的参考语音，合成具有目标说话人风格的语音。参考语音同时依赖于目标说话人风格和语音中的文本内容。现有方法将参考语音作为一个整体进行对比分析，但是在说话人风格和语言内容两方面没有进行分离对比分析，导致了合成语音受到语言内容的干扰，而偏离目标说话人风格的问题。设计了一种风格与内容分离的对比损失，用于个性化语音合成模型。该模型包括风格-内容分离对比模块、说话人模块、语音解码器模块。风格-内容分离对比模块将查询参考语音中的风格和内容视为正例，并使用风格-内容分离的负例。该分离负例能够促使查询的风格和其他参考语音中的内容分离，同时能够促使查询的内容与其他参考语音中的风格分离。风格内容分离对比模块用于学习兼顾风格-内容的语音特征。说话人模块学习说话人身份特征，并用于引导说话人风格学习。语音解码器模块融合风格-内容的语音特征和说话人身份特征，用于提高对持续时间、音高、能量这些说话人风格的描述能力。在VCTK和LibriTTS两个数据集上的实验表明，该方法提高了合成语音的说话人相似度，合成语音的质量优于现有方法。

关键词：语音合成,分离对比学习,说话人风格