基于竞争学习的稀疏受限玻尔兹曼机机制
来源：计算机应用杂志2018年第7期北京时间：
作者：周立军, 刘凯, 吕海燕
单位：海军航空大学 航空基础学院, 山东 烟台 264001
摘要：针对受限玻尔兹曼机（RBM）无监督训练存在特征同质化问题以及现有稀疏受限玻尔兹曼机（SRBM）难以自适应稀疏的缺陷，提出了一种基于竞争学习的RBM稀疏机制方法。首先设计基于神经元权值向量与输入向量间夹角余弦值的距离度量，评估两者相似度；然后在训练过程中对不同样本选择出基于距离度量的最优匹配隐单元；其次根据最优匹配隐单元激活状态计算对其他隐单元的稀疏惩罚度；最后执行参数更新并依据深度模型训练过程，将竞争稀疏应用于深度玻尔兹曼机（DBM）的构建中。通过手写数字识别实验证明，与误差平方和正则化因子相比，基于该稀疏机制的DBM分类准确率提高了0.74%，平均稀疏度提高了5.6%，且无需设置稀疏参数，因此，该稀疏机制可提高RBM等无监督训练模型的训练效率，并应用于深度模型的构建中。
关键词：受限玻尔兹曼机,稀疏受限玻尔兹曼机,竞争学习,稀疏表示,神经元
基金资助：国家自然科学基金资助项目（61531020，61032001）。
