《计算机工程与科学杂志》发表论文赏析

一种基于预训练语言模型的多特征融合文章对匹配模型

来源:计算机工程与科学杂志2026年第2期北京时间:

作者:陆顺意, 何庆

单位:贵州大学大数据与信息工程学院,贵州 贵阳 550025

摘要:针对传统文本语义匹配方法存在难以深入挖掘文本间深度语义特征及交互关系的问题,提出了一种基于预训练语言模型的多特征融合文章对匹配模型MF-APM。首先,通过数据增强策略对文章内容进行删减,以筛选出关键句子。其次,将增强后的新闻文档输入到具有孪生网络结构的Longformer模型来提取文章内容的深层特征,结合注意力特征融合方法得到文档匹配信息。其次,使用BERT对新闻标题进行交互式编码,将得到的编码向量输入到多头注意力机制中,以提取标题的深层次交互特征,进而获得标题交互信息。最后,通过将标题交互信息和文档交互信息的语义特征通过最大池化特征融合的方式实现文本对关系的预测。此外,在模型训练过程中,还引入了PolyLoss来代替传统的二进制交叉熵损失函数,有效降低了超参数调整的复杂性。将提出的MF-APM与其他匹配模型在CNSE和CNSS这2个数据集上进行比较,实验结果相较于基线模型,MF-APM模型在CNSE和CNSS数据集上的准确率分别至少提升了0.41和1.59个百分点,F1值分别至少提升了4.64和1.66个百分点,有效提升了文章对匹配任务的准确性。

关键词:预训练语言模型,长文本匹配,多头注意力机制,注意力特征融合,PolyLoss函数,

基金资助:国家自然科学基金(62166006);贵州省省级科技计划(黔科合支撑[2023]一般093);贵州省自然科学基金(黔科合支撑[2023]一般 251)

2026年2期其他文献查阅:

低温ADC综述

基于发送速率梯度的数据中心网络拥塞控制

面向领域专用片上网络的自定义拓扑结构生成框架

下一代智算中心RDMA QP通信机制

应用场景驱动的动态自重构A*算法加速阵列设计与实现

一种基于因果关系的减轻大语言模型幻觉的方法

一种基于强化学习的多跳知识图谱推理方法研究

基于多阶段协同推理的大语言模型司法问答框架

ICBV:一种基于BERT变分自编码的半监督意图聚类方法

面向电力运维的知识图谱构建:基于EBOM模型的实体关系联合抽取

基于双编码器和知识增强的方面情感三元组抽取

基于改进的PEGASUS模型与自适应纠错机制的双阶段文本摘要方法

基于动态依赖驱动与多元特征增强的中文关系抽取

基于数据增强的对话情绪识别

基于全景语义和多层次特征融合的方面级多模态情感分析

基于提示学习的少样本情感分类研究

一种基于预训练语言模型的多特征融合文章对匹配模型

自适应融合的多模态实体对齐方法

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!