一种基于改进注意力机制的实时鲁棒语音合成方法

来源：信号处理杂志 2022年第3期北京时间：

作者：唐君, 张连海, 李嘉欣

摘要：针对现有的语音合成系统Tacotron 2中存在的注意力模型学习慢、合成语音不够鲁棒以及合成语音速度较慢等问题，提出了三点改进措施：1.采用音素嵌入作为输入，以减少一些错误发音问题；2.引入一种注意力损失来指导注意力模型的学习，以实现其快速、准确的学习能力；3.采用WaveGlow模型作为声码器，以加快语音生成的速度。在LJSpeech数据集上的实验表明，改进后的网络提高了注意力学习的速度和精度，合成语音的错误率相比基线降低了33.4%；同时，整个网络合成语音的速度相比之下提升约523倍，实时因子（Real Time Factor，RTF）为0.96，满足实时性的要求；此外，在语音质量方面，合成语音的平均主观意见分（Mean Opinion Score，MOS）达到3.88。

关键词：语音合成, 注意力损失机制, Tacotron 2, WaveGlow, 序列到序列