《计算机工程与科学杂志》发表论文赏析

融合RoBERTa的多尺度语义协同专利文本分类模型

来源:计算机工程与科学杂志2023年第5期北京时间:

作者:梅侠峰, 吴晓鸰, 黄泽民, 凌捷

单位:广东工业大学计算机学院,广东 广州 510006

摘要:针对静态词向量工具(如word2vec)舍弃词的上下文语境信息,以及现有专利文本分类模型特征抽取能力不足等问题,提出了一种融合RoBERTa的多尺度语义协同(RoBERTa-MCNN-BiSRU++-AT)专利文本分类模型。RoBERTa能够学习到当前词符合上下文的动态语义表示,解决静态词向量无法表示多义词的问题。多尺度语义协同模型利用卷积层捕获文本多尺度局部语义特征,再由双向内置注意力简单循环单元进行不同层次的上下文语义建模,将多尺度输出特征进行拼接,由注意力机制对分类结果贡献大的关键特征分配更高权重。在国家信息中心发布的专利文本数据集上进行验证,与ALBERT-BiGRU和BiLSTM-ATT-CNN相比,RoBERTa-MCNN-BiSRU++-AT部级专利的分类准确率分别提升了2.7%和5.1%,大类级专利的分类准确率分别提升了6.7%和8.4%。结果表明,RoBERTa-MCNN-BiSRU++-AT能有效提升对不同层级专利的分类准确率。

关键词:专利文本分类,语义协同,简单循环单元,RoBERTa模型,

基金资助:广东省重点领域研发计划(2019B010139002);广州市重点领域研发计划(202007010004)

2023年5期其他文献查阅:

面向E级计算的高性能处理器核心运算架构研究进展

自治故障管理系统推理规则的智能学习技术

基于监督学习的稀疏矩阵自动任务分配

基于可再生能源消纳的数据中心负荷调度研究综述

基于脉动阵列的层融合注意力模型加速器结构

基于时间自动机的AADL端到端流规约验证方法

套索边界条件:一种可指导目标冲突修复的分歧描述

基于优化随机森林的软件缺陷预测算法研究

一种无人巡航船遍历多目标点的路径规划算法研究

融合局部动态特征的面部表情识别

一种求解CVRP的动态图转换模型

基于改进Faster R-CNN的小目标检测算法

密集交通场景中改进YOLOv3目标检测优化算法

基于多尺度多模态学习的光球亮点曲线轨迹段检测方法研究

基于深度学习的实体关系抽取方法研究

融合RoBERTa的多尺度语义协同专利文本分类模型

基于双通道门控复合网络的中文产品评论情感分析

基于差分进化策略的天牛须搜索算法及其应用

Conv-WGAIN:面向多元时序数据缺失的卷积生成对抗插补网络模型

基于教与学和逐维柯西变异的鲸鱼优化算法

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!