PAC-Bayes理论及应用研究综述

来源：计算机科学与探索杂志2015年第1期北京时间：

作者：汤莉，宫秀军，何丽

单位：1. 天津财经大学 理工学院 信息科学与技术系，天津 3002222. 天津大学 计算机科学与技术学院，天津 3000723. 天津市认知计算与应用重点实验室，天津 300072

摘要：PAC-Bayes理论融合了贝叶斯定理和随机分类器的结构风险最小化原理，它作为一个理论框架，可得到最紧的泛化风险边界。分析了PAC-Bayes理论的研究背景和重要意义，介绍了PAC-Bayes理论框架及其在支持向量机上的应用，分别探讨了多种机器学习算法的PAC-Bayes边界，并特别对非独立同分布数据的PAC-Bayes边界进行了分析。从4个方面深入阐述了PAC-Bayes边界应用的研究现状及进展，并对不同的研究方法和特点进行了比较。最后展望了PAC-Bayes边界未来的研究发展方向。

关键词：PAC-Bayes边界,支持向量机,泛化能力,分类器