基于HRAGS模型的混合式摘要生成方法

来源：电子测量技术杂志2022年第15期北京时间：

作者：岳 琳，杨风暴，王肖霞

单位：中北大学信息与通信工程学院 太原 030051

摘要：针对传统的抽取式、生成式方法在摘要自动生成任务上存在可读性、准确性不足的问题，提出了基于HRAGS (Hybrid Guided Summarization with Redundancy-Aware) 模型的混合式摘要生成方法。该方法首先使用BERT预训练语言模型获取上下文句子表示，结合冗余感知方法构造抽取模型；然后将训练完毕的BERT双编码器和随机初始化的具有双编码-解码注意力模块的Transformer解码器相结合构造生成模型，采用二阶段微调策略解决编、解码器训练不平衡的问题；最后使用Oracle贪婪算法选择关键句作为指导信号，将原文和指导信号分别输入生成模型以获取摘要。在LCSTS数据集上进行验证，实验结果表明，相比于其他基准模型，HRAGS模型能够生成更具可读性、准确性和ROUGE得分更高的摘要。

关键词：预训练语言模型; 混合式摘要; 生成式摘要; 冗余感知