卷积神经网络特征重要性分析及增强特征选择模型

来源：软件学报杂志2017年第11期北京时间：

作者：卢泓宇,张敏,刘奕群,马少平

单位：卢泓宇，智能技术与系统国家重点实验室(清华大学), 北京 100084;清华大学 计算机科学与技术系, 北京 10008411,张敏，智能技术与系统国家重点实验室(清华大学), 北京 100084;清华大学 计算机科学与技术系, 北京 10008402,刘奕群，智能技术与系统国家重点实验室(清华大学), 北京 100084;清华大学 计算机科学与技术系, 北京 10008403,马少平，智能技术与系统国家重点实验室(清华大学), 北京 100084;清华大学 计算机科学与技术系, 北京 10008404

摘要：卷积神经网络等深度神经网络凭借着其强大的表达能力、突出的分类性能，已在不同领域内得到了广泛应用.当面对高维特征时，深度神经网络通常被认为具有较好的鲁棒性，能够隐含地对特征进行选择，但由于网络参数巨大，如果数据量达不到足够的规模，则会导致学习不充分，因而可能无法达到最优的特征选择.而神经网络的黑箱特性使得无法观测神经网络选择了哪些特征，也无法评估其特征选择的能力.为此，以卷积神经网络为例，首先研究如何显式地表达神经网络中的特征重要性，提出了基于感受野的特征贡献度分析方法；其次，将神经网络特征选择与传统特征评价方法进行对比分析发现，在非海量样本的情况下，传统特征评价方法对高重要性特征和噪声特征的识别能力反而能够超过神经网络.因此，进一步地提出了卷积神经网络增强特征选择模型，将传统特征评价方法对特征重要性的理解结合到神经网络的学习过程中，以辅助深度神经网络进行特征选择.在基于文本的社交媒体用户属性建模任务下进行了对比实验，结果验证了该模型的有效性.

关键词：卷积神经网络;特征重要性分析;特征选择;文本分类

基金资助：国家自然科学基金（61622208，61532011，61672311）；国家重点基础研究发展计划（973）（2015CB358700）