由嘴唇视频直接生成语音的研究

来源：计算机应用研究杂志2020年第6期北京时间：

作者：贾振堂,

单位：上海电力大学电子与信息工程学院,上海200090；

摘要：为了更便捷地实现唇声转换，提出了一种由嘴唇视频直接生成语音的方法，并对相关问题进行了研究。首先同步地计算视频文件中的嘴唇运动特征和对应的LPC10话音编码参数，然后借助LSTM人工神经网络进行端到端的训练。训练后的网络模型可以将嘴唇运动特征映射为语音编码参数，再采用语音合成技术将语音编码参数转换成可以播放的语音样值数据。该方法跳过了中间的文字环节，因此称为直接生成，具有可方便地得到训练样本、无须人工标注的优点，同时也可以避免文本重建语音方法中存在的发音歧义。测试结果表明，在词汇量有限的应用情境中，该方法可以由嘴唇视频重建较为清晰可懂的语音。

关键词：嘴唇运动特征,语音分析与合成,LPC10,直接生成,LSTM,

基金资助：国家自然科学基金青年项目(61401269)；；