组块3×2交叉验证的F1度量的方差分析

来源：计算机科学与探索杂志2016年第8期北京时间：

作者：杨柳，王钰

单位：1. 山西财经大学 应用数学学院，太原 0300062. 山西大学 软件学院，太原 030006

摘要：在统计机器学习的研究中，研究者常常通过定量实验来对照基于交叉验证的分类算法的F1度量，为了得到统计可信的结论，估计它的不确定性是非常重要的。特别地，组块[3×2]交叉验证方法被大量理论和实验验证了它的性能优于诸如标准K折交叉验证的其他常用交叉验证方法。为此，理论上研究了基于组块[3×2]交叉验证的F1度量的方差。方差的结构表明它由块方差、块内协方差和块间协方差三部分组成，从而说明了广泛使用的样本方差估计可能严重地低估或高估真实的方差。通过条形图方法在模拟和真实数据上进行实验，验证了上述理论结果，实验结果表明块内、块间协方差和块方差是同阶的，块内和块间相关性是不可忽略的。

关键词：F1度量,交叉验证,方差,分类算法,模拟实验