《计算机工程与科学杂志》发表论文赏析

基于多级语义信息融合编码的序列标注方法

来源:计算机工程与科学杂志2022年第12期北京时间:

作者:蔡雨岐, 郭卫斌

单位:(华东理工大学信息科学与工程学院,上海 200237)

摘要:序列标注是自然语言处理领域的基本任务。目前大多数序列标注方法采用循环神经网络及其变体直接提取序列中的上下文语义信息,尽管有效地捕捉到了词之间的连续依赖关系并取得了不错的性能,但捕获序列中离散依赖关系的能力不足,同时也忽略了词与标签之间的联系。因此,提出了一种多级语义信息融合编码方式,首先,通过双向长短期记忆网络提取序列上下文语义信息;然后,利用注意力机制将标签语义信息添加到上下文语义信息中,得到融合标签语义信息的上下文语义信息;接着,引入自注意力机制捕捉序列中的离散依赖关系,得到含有离散依赖关系的上下文语义信息;最后,使用融合机制将3种语义信息融合,得到一种全新的语义信息。实验结果表明,相比于采用循环神经网络或其变体对序列直接编码的方式,多级语义信息融合编码方式能明显提升模型性能。

关键词:序列标注,多级语义信息融合编码,标签语义信息,注意力机制,融合机制,

基金资助:国家自然科学基金(61672227)

2022年12期其他文献查阅:

基于即时编译的GNU Octave性能优化

工业区块链中基于CUDA的数据并行处理方法

基于指令Cache和寄存器压力的循环展开优化

一种HEVC帧内预测算法的动态自重构实现方法

面向多智能体博弈的并行蒙特卡洛树搜索算法研究

几类线性码的扩展码及其在密钥共享中的应用

对认证加密算法Pyjamask的伪造攻击

基于身份的无对密文等值测试公钥加密方案

改进Stacking集成学习的指纹识别算法

故障检测率对软件可靠性影响实证分析

模糊测试技术研究综述

融合语句复杂度的软件错误定位轻量级方法

改进YOLO v4-tiny的火焰实时检测

一种基于pix2pix改进的工业缺陷数据增强方法

基于路径签名的改进时空图卷积网络

基于深度学习的海岸线边缘检测网络模型

基于提高伪平行句对质量的无监督领域适应机器翻译

改进搜索机制的单纯形法引导麻雀搜索算法

基于混合分布注意力机制与混合神经网络的语音情绪识别方法

采用双档案协同进化离散多目标烟花算法的低碳疫苗冷链优化配送

基于多级语义信息融合编码的序列标注方法

基于同步压缩和DCGAN的癫痫脑电信号检测方法

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!