基于超图的双模态特征融合的作物病害识别算法

来源：江苏农业科学杂志2023年第第15期北京时间：

作者：张净;邵文文;刘晓梅;李贺亮;高跃;张轩诚

单位：1.江苏大学电气信息工程学院，江苏镇江 212013； 2.江苏科茂信息技术有限公司，江苏镇江 212000；3.江苏大学艺术学院，江苏镇江 212013； 4.清华大学软件学院，北京 100084

摘要：农作物叶部病害已经严重影响农作物的产量和质量，为提高农作物叶片病害识别的效果、减少经济损失、提高种植者的收益，提出基于超图的双模态特征融合的农作物病害识别算法BimodalFINet。BimodalFINet由文本模态分支、图像模态分支和超图神经网络构成。首先利用循环神经网络和改进的卷积神经网络构造图像文本双分支并行结构，提取语义特征信息和富含空间位置信息的特征表示，得到2种模态特征，然后利用特征融合方法实现各分支特征信息的互补与融合，得到包含更加丰富的病害双模态特征信息。最后利用超图神经网络将上述融合后的双模态特征信息进行编码以获得数据之间的相关性和数据表示，提升模型识别准确率。结果表明，BimodalFINet的文本模态分支TextRNN取得91.28%的识别准确率，图像模态分支RexNext50-CA取得89.20%的识别准确率，相比于单个ResNext50模型提高了1.08百分点，联合模态分支取得92.32%的识别准确率，相比于图像和文本单模态模型分别提高了3.12百分点和1.04百分点，加入超图后模型取得94.83%的识别准确率，相比于联合模态模型提高了2.51百分点。嵌入超图后的模型具有更好的特征提取能力，能够为田间环境下农作物的病害识别提供有效技术支持。

关键词：农作物病害;超图神经网络;卷积神经网络;特征融合;双模态