TSPT：基于预训练的三阶段复合式文本摘要模型

来源：计算机应用研究杂志2020年第10期北京时间：

作者：吕瑞,王涛,曾碧卿,刘相湖,

单位：华南师范大学计算机学院,广州510631；

摘要：抽取式方法从源文本中抽取句子，会造成信息冗余；生成式方法可能生成非源文词，会产生语法问题，自然性差。BERT作为一种双向Transformer模型，在自然语言理解任务上展现了优异的性能，但在文本生成任务的应用有待探索。针对以上问题，提出一种基于预训练的三阶段复合式文本摘要模型（TSPT），结合抽取式方法和生成式方法，将源本文经过预训练产生的双向上下文信息词向量由sigmoid函数获取句子得分抽取关键句，在摘要生成阶段将关键句作为完形填空任务重写，生成最终摘要。实验结果表明，该模型在CNN/Daily Mail数据集中取得了良好效果。

关键词：预训练,复合式文本摘要模型,抽取式方法,生成式方法,双向上下文信息词向量,

基金资助：国家自然科学基金资助项目(61772211,61503143)；；