融合注意力机制的MacBERT—DPCNN农业文本分类模型

来源：中国农机化学报杂志2025年第8期北京时间：

作者：张典, 刘畅, 陈雯柏, 缪祎晟, 吴华瑞,

单位：（1. 国家农业信息化工程技术研究中心，北京市，100097； 2.北京信息科技大学自动化学院，北京市，100192； 3. 北京市农林科学院信息技术研究中心，北京市，100097；4.农业农村部数字乡村技术重点实验室，北京市，100097）

摘要：针对农业领域文本信息密度大、语义模糊、特征稀疏的特点，提出一种基于MacBERT（MLM as correction‑BERT）、深度金字塔卷积网络（DPCNN）和注意力机制（Attention）的农业文本分类模型，命名为MacBERT—DPCNN—Attention（MDA）。首先，使用MacBERT模型充分提取农业类文本内容的上下文信息，强化文本的语义特征表示。然后，DPCNN模型通过其多层卷积神经网络和池化操作，有效捕获文本的局部特征。最后，注意力机制进一步增强农业文本序列的特征表达。结果表明，与其他主流模型如BERT—DPCNN、BERT—CNN、BERT—RNN相比，MDA模型在农业文本分类任务上的精确率提升1.04%以上，召回率提升0.95%以上，F1值提升0.14%以上。表明所提模型在解决农业领域文本分类问题方面的有效性和优越性。

关键词：农业文本分类,MacBERT模型,深度金字塔卷积网络,注意力机制,预训练模型

基金资助：国家重点研发计划项目（2022YFD1600605）;财政部和农业农村部：国家现代农业产业技术体系项目（CARS—23—D07）;中央引导地方科技发展资金项目（2023ZY1—CGZY—01）