基于Faster R-CNN的食品图像检索和分类

来源：南京信息工程大学学报·自然科学版杂志2017年第6期北京时间：

作者：梅舒欢

单位：梅舒欢,山东科技大学 数学与系统科学学院, 青岛, 266590;中国科学院计算技术研究所 智能信息处理重点实验室, 北京, 100190,闵巍庆,中国科学院计算技术研究所 智能信息处理重点实验室, 北京, 100190,刘林虎,中国科学院计算技术研究所 智能信息处理重点实验室, 北京, 100190;中国科学院大学 人工智能技术学院, 北京, 100049,段华,山东科技大学 数学与系统科学学院, 青岛, 266590,huaduan59@163.com蒋树强,中国科学院计算技术研究所 智能信息处理重点实验室, 北京, 100190

摘要：面向食品领域的图像检索和分类等方面的研究成为多媒体分析和应用领域越来越受关注的研究课题之一.当前的主要研究方法基于全图提取视觉特征，但由于食品图像背景噪音的存在使得提取的视觉特征不够鲁棒，进而影响食品图像检索和分类的性能.为此，本文提出了一种基于Faster R-CNN网络的食品图像检索和分类方法.首先通过Faster R-CNN检测图像中的候选食品区域，然后通过卷积神经网络（CNN）方法提取候选区域的视觉特征，避免了噪音的干扰使得提取的视觉特征更具有判别力.此外，选取来自视觉基因库中标注好的食品图像集微调Faster R-CNN网络，以保证Faster R-CNN食品区域检测的准确度.在包括233类菜品和49 168张食品图像的Dish-233数据集上进行实验.全面的实验评估表明：基于Faster R-CNN食品区域检测的视觉特征提取方法可以有效地提高食品图像检索和分类的性能.

关键词：食品图像;图像检索;图像分类;深度学习;Faster R-CNN;卷积神经网络

基金资助：国家自然科学基金（61532018，61602437，61672497，61472229，61202152）；北京市科技计划（D161100001816001）；山东省自然科学基金（ZR2017MF02）；山东省科技发展计划（2016ZDJS02A11，2014GGX101035，2014BSB01020）