融合RoBERTa的多尺度语义协同专利文本分类模型

来源：计算机工程与科学杂志2023年第5期北京时间：

作者：梅侠峰, 吴晓鸰, 黄泽民, 凌捷

单位：广东工业大学计算机学院，广东 广州 510006

摘要：针对静态词向量工具（如word2vec）舍弃词的上下文语境信息，以及现有专利文本分类模型特征抽取能力不足等问题，提出了一种融合RoBERTa的多尺度语义协同(RoBERTa-MCNN-BiSRU++-AT)专利文本分类模型。RoBERTa能够学习到当前词符合上下文的动态语义表示，解决静态词向量无法表示多义词的问题。多尺度语义协同模型利用卷积层捕获文本多尺度局部语义特征，再由双向内置注意力简单循环单元进行不同层次的上下文语义建模，将多尺度输出特征进行拼接，由注意力机制对分类结果贡献大的关键特征分配更高权重。在国家信息中心发布的专利文本数据集上进行验证，与ALBERT-BiGRU和BiLSTM-ATT-CNN相比，RoBERTa-MCNN-BiSRU++-AT部级专利的分类准确率分别提升了2.7%和5.1%，大类级专利的分类准确率分别提升了6.7%和8.4%。结果表明，RoBERTa-MCNN-BiSRU++-AT能有效提升对不同层级专利的分类准确率。

关键词：专利文本分类,语义协同,简单循环单元,RoBERTa模型,

基金资助：广东省重点领域研发计划（2019B010139002）；广州市重点领域研发计划（202007010004）