基于改进主题分布特征的神经网络语言模型

来源：电子与信息学报杂志2018年第1期北京时间：

作者：刘畅, 张一珂, 张鹏远, 颜永红

摘要：在递归神经网络(RNN)语言模型输入中增加表示当前词所对应主题的特征向量是一种有效利用长时间跨度历史信息的方法。由于在不同文档中各主题的概率分布通常差别很大，该文提出一种使用文档主题概率改进当前词主题特征的方法，并将改进后的特征应用于基于长短时记忆(LSTM)单元的递归神经网络语言模型中。实验表明，在PTB数据集上该文提出的方法使语言模型的困惑度相对于基线系统下降11.8%。在SWBD数据集多候选重估实验中，该文提出的特征使LSTM模型相对于基线模型词错误率(WER)相对下降6.0%；在WSJ数据集上的实验中，该特征使LSTM模型相对于基线模型词错误率(WER)相对下降6.8%，并且在eval92测试集上，改进隐含狄利克雷分布(LDA)特征使RNN效果与LSTM相当。

关键词：语音识别, 语言模型, 隐含狄利克雷分布, 长短时记忆

基金资助：国家自然科学基金(11590770-4, U1536117, 11504406, 11461141004)，国家重点研发计划重点专项(2016YFB0801203, 2016YFB0801200)，新疆维吾尔自治区科技重大专项(2016A03007- 1)