基于权值不确定性的玻尔兹曼机算法

来源：软件学报杂志2018年第4期北京时间：

作者：丁世飞,张健,史忠植

单位：丁世飞，中国矿业大学 计算机科学与技术学院, 江苏 徐州 221116;中国科学院 计算技术研究所 智能信息处理重点实验室, 北京 10019011,张健，中国矿业大学 计算机科学与技术学院, 江苏 徐州 221116;中国科学院 计算技术研究所 智能信息处理重点实验室, 北京 10019002,史忠植，中国科学院 计算技术研究所 智能信息处理重点实验室, 北京 10019003

摘要：受限制的玻尔兹曼机（RBM）是一种无向图模型.基于RBM的深度学习模型包括深度置信网（DBN）和深度玻尔兹曼机（DBM）等.在神经网络和RBM的训练过程中，过拟合问题是一个比较常见的问题.针对神经网络的训练，权值随机变量（weight random variables）、Dropout方法和早期停止方法已被用于缓解过拟合问题.首先，改变RBM模型中的训练参数，使用随机变量代替传统的实值变量，构建了基于随机权值的受限的波尔兹曼机（weight uncertainty RBM，简称WRBM），接下来，在WRBM基础上构建了相应的深度模型：Weight uncertainty Deep Belief Network（WDBN）和Weight uncertainty Deep Boltzmann Machine（WDBM），并且通过实验验证了WDBN和WDBM的有效性.最后，为了更好地建模输入图像，引入基于条件高斯分布的RBM模型，构建了基于spike-and-slab RBM（ssRBM）的深度模型，并通过实验验证了模型的有效性.

关键词：玻尔兹曼机;深度玻尔兹曼机;深度置信网;权值不确定性

基金资助：国家自然科学基金（61672522，61379101）；国家重点基础研究发展计划（973）（2013CB329502）