基于层级残差连接LSTM的命名实体识别
来源：江苏大学学报·自然科学版杂志2022年第4期北京时间：
作者：王进，李颖，蒋晓翠，吕晓旭，肖黄清
单位：重庆邮电大学 数据工程与可视计算重点实验室， 重庆 400065
摘要：针对命名实体识别任务中现有的LSTM提取特征向量存在对短期信息特征表达能力不足的问题，提出一个基于层级残差连接的LSTM网络.通过添加残差块堆叠LSTM网络深度，增强短期信息特征非线性拟合能力；利用全局信息编码动态选择激活函数，在加强网络计算能力的同时降低了参数量；通过注意力机制，对输入动态调整残差连接的层数加强模型拟合能力.给出了残差网络和Dynamic ReLU激活函数，建立了基于层级残差连接的LSTM命名实体识别整体框架，定义了残差连接模块、Dynamic ReLU模块、注意力机制模块.对比了所提出方法与FLAT、Lattice LSTM等相关算法，在Weibo和Resume数据集上进行试验.结果表明，基于层级残差连接的LSTM在Weibo上达到了最好的效果，在Resume上效果仅次于FLAT，F1分别为0.700 1、0.958 6.
关键词：命名实体识别, 短期信息特征, LSTM, 残差连接, Dynamic ReLU, 注意力机制
基金资助：国家自然科学基金青年科学基金资助项目(61806033); 重庆市自然科学基金资助面上项目(cstc2019jcyjmsxmX0021)
