基于成分引导的多模态自蒸馏食品图像分割

来源：中国食品学报杂志2024年第11期北京时间：

作者：侯素娟，孙月娟，闵巍庆，王瑞平，蒋树强

单位：侯素娟山东师范大学 济南 250358,孙月娟山东师范大学 济南 250358,闵巍庆中国科学院计算技术研究所 北京 100190,蒋树强中国科学院计算技术研究所 北京 100190,

摘要：目的:随着计算机视觉技术的发展，精确地识别并分割食品图像中的不同成分区域，对于食品营养分析和促进饮食健康管理至关重要。然而，当前图像分割模型多依赖于单一图像输入，这一做法在处理视觉差异较小的食品图像时，往往难以捕捉到细微的区分特征，从而影响分割精度。本文旨在解决单一模态在分割任务中的不足，利用文本信息为模型提供更加丰富的上、下文信息，采用自蒸馏技术，引导模型对食品图像的有效分割。方法:提出一种基于成分信息引导的多模态自蒸馏分割模型。该模型采用对比语言文本预训练模型(CLIP)捕捉成分信息，再与图像知识有效融合，结合扩散模型在稠密预测方面的优势，实现对食品图像的精准分割。结果:在基准数据集FoodSeg103上验证，所提模型的评估指标mIoU达到47.93%，超越了当前最优的FoodSAM模型1.51个百分点。在基准数据集UEC-FoodPIX Complete上，模型的评估指标mIoU达到75.13%，比FoodSAM模型高8.99个百分点。结论:所提出的多模态自蒸馏网络在食品图像分割任务中表现出色，验证了成分信息对分割任务的有效指导作用，提升了分割精度，为食品图像分析提供了新的解决方案。

关键词：食品图像; 图像分割; 多模态; 自蒸馏

基金资助：国家重点研发计划项目(2023YFF1105104)；国家自然科学基金面上项目(62072289，62372278)；北京市自然科学基金项目(JQ24021)