渐进融合与特征激活协同的RGB-D食品营养评估

来源：中国食品学报杂志2026年第2期北京时间：

作者：姚鹏全，刘倩，刘立波

单位：姚鹏全宁夏大学信息工程学院 银川 750021,刘倩宁夏大学信息工程学院 银川 750021,刘立波宁夏大学信息工程学院 银川 750021;宁夏“东数西算”人工智能与信息安全重点实验室 银川 750021,liulib@nxu.edu.cn

摘要：目的:食品营养评估对于指导饮食健康和预防疾病至关重要。然而，现有RGB-D食品营养评估模型存在层级特征间交互低效且层级表征冗余、多模态特征关联性弱以及计算开销大的问题。方法:本文提出一种渐进式双向融合与互补性特征激活协同驱动的RGB-D食品营养评估模型。首先，设计渐进式双向融合模块，利用双向信息流(高层语义校准低层细节，低层特征增强高层表征)和两阶段渐进融合强化多尺度特征关联性并去除冗余的特征表示，通过层级拼接生成互补的RGB-D多模态特征；其次，构建互补性特征激活模块，联合反向特征金字塔(RevFP)的空间域局部加权与高效通道注意力(ECA)的通道域动态交互激活具有互补性的多模态特征，在增强多模态特征间关联性的同时降低计算开销。结果:所提方法在Nutrition5k数据集上的百分比平均绝对误差(PMAE)的平均值为17.7%，其中热量、质量、脂肪、碳水化合物和蛋白质的PMAE分别为14.6%，10.3%，23.3%，20.3%和20.0%。在计算开销方面，参数量、计算量和推理速度分别为106.68×106，64.52×109和16.1 frame/s，验证了所提方法的有效性。结论:所提方法为食品营养评估任务提供了一种有效的解决方案。

关键词：食品营养评估; RGB-D多模态学习; 渐进式双向融合; 互补性特征激活; 轻量化网络

基金资助：宁夏自然科学基金项目(2024AAC02010)；宁夏科技创新领军人才项目(2022GKLRLX03)；国家自然科学基金项目(62262053)