一种基于BERT的多级连贯性文本分割方法
来源：计算机应用与软件杂志2024年第10期北京时间：
作者：赵怡博, 蒋峰, 李培峰
摘要：文本分割是自然语言处理(NLP)领域的一项重要任务。现有的工作大多是只关注文章整体信息或只着重于局部文本信息的模型，不能同时兼顾整体和局部的信息，因此，该文提出一种基于BERT的多级连贯性文本分割模型(HAC-BERT)。该模型能够通过对整体信息和局部信息分别建模，并通过权重相加的方式，同时关注局部信息和整体信息，从而取得更好的性能。在大规模文本分割语料上进行训练，并在多个不同领域的文本分割数据集上进行测试，实验结果表明，该文提出的模型有良好的性能和领域适应能力。
关键词：文本分割, 自然语言处理, 神经网络, BERT
