基于相对概率变化比的CNN超参数优化方法

来源：上海理工大学学报杂志2021年第3期北京时间：

作者：李慧，周溪召，施柏州

单位：上海理工大学 管理学院，上海 200093,上海理工大学 管理学院，上海 200093,朝阳科技大学 理工学院，台中 413310

摘要：卷积神经网络（convolutional neural network，CNN）已被广泛应用于图像识别领域，其自身的超参数对图像分类问题中分类错误率的大小有较大的影响。为进一步优化CNN超参数，提出了基于Softmax回归的相对概率变化比。应用相对概率变化比寻找对图像分类影响较大的超参数，并根据超参数的重要性大小依次对其进行调整。为验证相对概率比的有效性，在网络架构1和网络架构2下进行了调参实验。实验结果表明，Softmax回归的相对概率变化比在不同的网络架构下均可反映CNN超参数对分类错误率的影响，且有助于找到一个更优的超参数组合，降低分类错误率。在MNIST和CIFAR-10数据集上的对比实验表明，研究结果在不同数据集下都适用。

关键词：卷积神经网络;超参数组合;Softmax回归;相对概率变化比

基金资助：国家自然科学基金资助项目（61273042）