基于Roberta的中文短文本语义相似度计算研究

来源：计算机应用与软件杂志2024年第8期北京时间：

作者：张小艳, 李薇

摘要：针对传统基于孪生网络的文本语义相似度计算模型中存在特征提取能力不足的问题，提出一种融合孪生网络与Roberta预训练模型SRoberta-SelfAtt。在孪生网络架构上，通过Roberta预训练模型分别将原始文本对编码为字级别向量，并使用自注意力机制捕获文本内部不同字之间的关联；通过池化策略获取文本对的句向量进而将表示结果交互并融合；在全连接层计算损失值，评价文本对的语义相似度。将此模型在两类任务下的三种数据集上进行实验，其结果相比于其他模型有所提升，为进一步优化文本语义相似度计算的准确率提供有效依据。

关键词：孪生神经网络, Roberta, 自注意力机制, 中文短文本, 语义相似度计算