一种改进的5层深度学习结构与优化方法

来源：计算机工程杂志2018年第6期北京时间：

作者：毛勇华,代兆胜,桂小林

单位：1.西安交通大学 电子与信息工程学院,西安 710049; 2.西安工程大学 理学院,西安 710048

摘要：已有研究针对5层神经网络结构中各隐层节点数的选取并不明确。为此,提出一种改进的5层深信度网络(DBN)结构设计方案与节点数量优化选择方法。将第一隐层、第二隐层节点数预估为前一层节点数的1/3至2/3间的某值,第三隐层、第四隐层节点数分别等于第一隐层和输入层的节点数,然后采用样条插值方法优化选择第一隐层、第二隐层节点数。该结构特征只需预训练前2层权重,简化了DBN的受限玻尔兹曼机预训练方法。MNINST数据集上的实验结果验证了该网络结构的高效性与高准确率。

关键词：深信度网络,预训练,节点选择,样条插值,受限玻尔兹曼机

基金资助：国家自然科学基金(61472316);陕西省重大基础研究计划项目(2016ZDJC-05);中央高校基本科研业务费专项资金(XKJC20 14008);陕西省重点研发项目(2017ZDXM-GY-011)。