基于多新息理论的深度信念网络算法
来源：计算机应用杂志2016年第9期北京时间：
作者：李萌, 秦品乐, 李传朋
单位：中北大学 计算机与控制工程学院, 太原 030051
摘要：针对深度信念网络（DBN）算法在采用反向传播修正网络的连接权值和偏置的过程中，容易产生梯度小、学习率低、误差收敛速度慢等问题，提出一种结合多新息理论对标准DBN算法进行改进的算法，即多新息DBN（MI-DBN）。MI-DBN算法是对标准DBN算法中反向传播的过程重新建模，使得算法在原先只利用单个新息的情况下，扩展为能够充分利用之前多个周期的新息，从而大幅提高误差收敛速度。通过实验对MI-DBN算法和其他分类算法进行了数据集分类的比较，实验结果表明，MI-DBN算法相较其他分类算法，其误差收敛速度较快，而且最终对MNIST数据集和Caltech101数据集的识别中误差结果相对更小。
关键词：深度信念网络算法,误差收敛速度,多新息理论,反向传播
基金资助：山西省自然科学基金资助项目（2015011045）。
