基于多模态分层注意力网络的玉米病害叶片识别

来源：中国农机化学报杂志2025年第6期北京时间：

作者：商炎亮, 吴凯, 周文

单位：（1. 许昌电气职业学院，河南许昌， 461000； 2. 郑州大学信息工程学院，郑州市，450001；3. 中国科学院计算技术研究所计算机体系结构国家重点实验室，北京市，100190）

摘要：玉米叶片病害会影响叶片光合作用，严重影响玉米籽粒的灌浆，及时准确地检测玉米病害叶片有助于提高玉米的产量和质量,为此提出一种基于多模态分层注意力网络的小样本玉米病害叶片识别方法。首先，利用视觉特征提取网络VGG16将输入的玉米叶片映射到视觉语义空间，并逐层计算支持分支和查询分支间的语义关联。然后，利用文本转换器将玉米叶片文本标签映射到文本语义空间，并利用模态交叉注意力建立视觉与文本之间的上下文语义关联，尽可能地聚焦病害区域。最后，利用掩码平均池化技术生成指导未知玉米叶片病害的泛化原型集。在自建和开源的玉米病害叶片数据集上进行测试。结果表明：所提出模型在自建数据集上可以实现96.08%的识别精度，在开源的Plant Village数据集上可以实现98.11%的识别精度。

关键词：玉米病害,叶片识别,视觉语义,文本语义,多模态分层注意力

基金资助：国家自然科学基金（61972362）