《计算机工程与科学杂志》发表论文赏析

结合混合特征提取与深度学习的长文本语义相似度计算

来源:计算机工程与科学杂志2024年第8期北京时间:

作者:徐捷, 邵玉斌, 杜庆治, 龙华, 马迪南

单位:(1.昆明理工大学信息工程与自动化学院,云南 昆明 650504;2.云南省媒体融合重点实验室,云南 昆明 650228)

摘要:文本语义相似度计算是自然语言处理中一项非常重要的任务,但是目前对于文本语义相似度的研究多集中在短文本领域,而不是长文本。相较于短文本,长文本语义信息丰富,但同时语义信息容易分散。针对长文本语义信息分散的问题,提出一种特征提取模型,提取出长文本的主要语义信息;对提取的语义信息使用滑窗重叠的方法输入BERT预训练模型得到文本向量表示;然后,通过双向长短期记忆网络建模长文本的前后语义联系,将其映射到语义空间内;再通过线性层增加模型表示能力;最后,通过相似语义向量内积最大化和交叉熵损失函数进行微调。实验结果表明,该模型在CNSE和CNSS数据集上F1分数分别为0.84和0.91,性能优于基线模型。

关键词:长文本语义相似度,特征提取,BERT预训练模型,语义空间,

基金资助:云南省融媒体重点实验室项目 (220235205)

2024年8期其他文献查阅:

基于SRAM缓存和存内计算的低功耗关键词唤醒系统

基于FPGA和行折叠的稀疏矩阵向量乘优化

面向离散粒子多尺度分析CPU/GPU架构的并行近邻搜索算法

边缘侧神经网络块粒度领域自适应技术研究

基于DPCT的序列比对软件迁移与性能评估

一种基于动态空间划分和压缩布隆过滤器相结合的分布式元数据负载均衡算法#br#

基于BOOM处理器的访存逻辑优化

S-JSMA:一种低扰动冗余的快速JSMA对抗样本生成方法

智慧医疗系统中可容错的多维度密文跨域聚合方案

区域敏感的群智感知隐私保护任务分配机制

基于加权非负矩阵分解的异常声音检测方法研究

多阶段特征蒸馏加权的轻量级图像超分辨率网络

Bi-YOLO:一种基于YOLOv8n改进的轻量化目标检测算法

基于YOLOv8 改进的室内行人跌倒检测算法FDW-YOLO

基于健康码打卡数据的疫情轨迹描述模型研究#br#

一种基于多特征融合嵌入的中文命名实体识别模型研究

基于Fuch映射的改进白鲸优化算法及应用

一种模糊时间序列概率预测方法

一种基于注意力机制的轻量级语义分割

结合混合特征提取与深度学习的长文本语义相似度计算

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!