基于正则化 KL 距离的交叉验证折数 K 的选择

来源：计算机技术与发展杂志2021年第03期北京时间：

作者：褚荣燕;王钰;'*;杨杏丽;李济洪

单位：1. 山西大学 数学科学学院,山西 太原 030006;2. 山西大学 现代教育技术学院,山西 太原 030006;3. 山西大学 软件学院,山西 太原 030006

摘要：在机器学习中,K 折交叉验证方法常常通过把数据分成多个训练集和测试集来进行模型评估与选择,然而其折数 K 的选择一直是一个公开的问题。 注意到上述交叉验证数据划分的一个前提假定是训练集和测试集的分布一致,但是实际数据划分中,往往不是这样。 因此,可以通过度量训练集和测试集的分布一致性来进行 K 折交叉验证折数 K 的选择。直观地,KL(Kullback-Leibler)距离是一种合适的度量方法,因为它度量了两个分布之间的差异。 然而直接基于 KL 距离进行 K 的选择时,从多个数据实验结果发现随着 K 的增加 KL 距离也在增大,显然这是不合适的。 为此,提出了一种基于正则化 KL 距离的 K 折交叉验证折数 K 的选择准则,通过最小化此正则 KL 距离来选择合适的折数 K。 进一步多个真实数据实验验证了提出准则的有效性和合理性。

关键词：K 折交叉验证;折数 K 的选择;KL(Kullback-Leibler)距离;正则化;机器学习