基于LSTM和位置增强的软提示向量优化

来源：计算机技术与发展杂志2024年第10期北京时间：

作者：刘振东;程春玲*;刘倩

摘要：软提示学习是应用预训练语言模型的新兴方法,然而软提示学习所生成的向量可能缺乏序列结构,影响模型在特定位置定义信息的能力导致模型的性能受损。 为此,该文深入探究软提示向量序列结构及其对模型性能的影响,发现软提示向量在不同语言模型类型、模型规模、下游任务类型及提示长度均展现出顺序敏感的问题。 针对该问题,提出一种基于 LSTM 和位置增强的软提示排序网络,首先采用改进的 LSTM 网络实现软提示排序调优,其中对每个门控处添设提示选择门,以捕获序列信息生成优序的软提示向量。 其次针对排序过程提出一种位置增强模块,结合绝对与相对位置信息优化排序。 在 GLUE 数据集上的测试表明,该方法相较于基线带来了平均 3. 1% 的性能提升。

关键词：软提示向量;序列结构;顺序敏感性;位置编码;长短期记忆