基于数据均衡的增进式深度自动图像标注

来源：软件学报杂志2017年第7期北京时间：

作者：周铭柯,柯逍,杜明智

单位：周铭柯，福州大学 数学与计算机科学学院, 福建 福州 350116;福建省网络计算与智能信息处理重点实验室 福州大学, 福建 福州 35011611,柯逍，福州大学 数学与计算机科学学院, 福建 福州 350116;福建省网络计算与智能信息处理重点实验室 福州大学, 福建 福州 35011602,杜明智，福州大学 数学与计算机科学学院, 福建 福州 350116;福建省网络计算与智能信息处理重点实验室 福州大学, 福建 福州 35011603

摘要：自动图像标注是一个包含众多标签、多样特征的富有挑战性的研究问题，是新一代图像检索与图像理解的关键步骤.针对传统的基于浅层机器学习标注算法标注效率低下、难以处理复杂分类任务的问题，提出了基于栈式自动编码器（stacked auto-encoder，简称SAE）的自动图像标注算法，提升了标注效率和标注效果.主要针对图像标注数据不平衡问题，提出两种解决思路：对于标注模型，提出一种增强训练中低频标签的平衡栈式自动编码器（B-SAE），较好地改善了中低频标签的标注效果.并在该模型的基础上提出一种分组强化训练B-SAE子模型的鲁棒平衡栈式自动编码器算法（RB-SAE），提升了标注的稳定性，从而保证模型本身具有较强的处理不平衡数据的能力；对于标注过程，以未知图像作为出发点，首先构造未知图像的局部均衡数据集，并判定该图像的高低频属性以决定不同的标注过程，局部语义传播算法（SP）标注中低频图像，RB-SAE算法标注高频图像，形成属性判别的标注框架（ADA），保证了标注过程具有较强的应对不平衡数据的能力，从而提升整体图像标注效果.通过在3个公共数据集上进行实验验证，结果表明，该方法在许多指标上相比以往方法均有较大提高.

关键词：SAE (stacked auto-encoder);深度学习;数据均衡;图像标注;语义传播

基金资助：国家自然科学基金（61502105）；福建省科技引导性项目（2017H0015）；福建省中青年教师教育科研项目（JA15075）