基于BERT-sPTT的文本分类模型
来源：计算机工程与应用杂志2026年第11期北京时间：
作者：陈可嘉, 王朕卿, 周修考
单位：福州大学 经济与管理学院，福州 350108；
摘要：传统文本分类模型存在分类精度有限、文本信息损失值高的不足。基于此，借鉴PVT模型的设计理念，通过缩放因子对查询向量实施同步缩放，实现对其核心注意力模块的改进，并结合BERT模型，提出BERT-sPTT文本分类模型。在THUNews数据集、复旦中文数据集、AG新闻数据集进行验证，实验结果显示三个数据集上该模型ACC值与F1值优于其他对比模型。该模型主要优势在于结合BERT捕捉文本深层语义信息方面的能力和PVT金字塔结构在特征提取和下采样方面的高效性。
关键词：文本分类,BERT,空间减缩注意力（SRA）,PVT模型
基金资助：国家自然科学基金（72374030）；福建省财政厅专项资金（0300-83022110）。
