短文本分类的ResLCNN模型

来源：软件学报杂志2017年第s2期北京时间：

作者：王俊丽,杨亚星,王小敏

单位：王俊丽，同济大学 电子与信息工程学院 计算机科学与技术系, 上海 20180411,杨亚星，同济大学 电子与信息工程学院 计算机科学与技术系, 上海 20180402,王小敏，同济大学 电子与信息工程学院 计算机科学与技术系, 上海 20180403

摘要：短文本分类是互联网文本数据处理中的关键任务之一.长短时记忆网络LSTM（long short-term memory）和卷积神经网络CNN（convolutional neural network）是广泛应用于短文本分类任务的两种深度学习模型.在计算机视觉和语音识别领域的深度学习研究表明，深层次的神经网络模型具有较好的表达数据特征的能力.受此启发，面向文本深度学习分类问题，提出基于3层LSTM和CNN网络结构的ResLCNN（residual-LSTM-CNN）深度学习模型.该模型有效结合LSTM获取文本序列数据的长距离依赖特征和CNN通过卷积操作获取句子局部特征的优势，同时借鉴残差模型理论，在第1层LSTM层与CNN层之间加入恒等映射，构建残差层，缓解深层模型梯度消失问题.为了探究深层短文本分类中ResLCNN模型的文本分类能力，在多种数据集上将其与LSTM、CNN及其组合模型进行对比实验.结果表明，相比于单层LSTM与CNN组合模型，ResLCNN深层模型在MR、SST-2和SST-5数据集上分别提高了1.0%、0.5%、0.47%的准确率，取得了更好的分类效果.

关键词：深度学习模型;短文本分类;长短时记忆网络;卷积神经网络;残差网络

基金资助：国家高技术研究发展计划（863）（2015IM030300）；上海市科技创新计划（15DZ1101202）；上海市科委项目（14JC1405800）；同济大学中央高校基本科研业务费