受限玻尔兹曼机的新混合稀疏惩罚机制

来源：浙江大学学报·工学版杂志2015年第6期北京时间：

作者：刘凯, 张立民, 张超

单位：1. 海军航空工程学院 电子信息工程学系, 山东 烟台 264001; 2. 南海舰队装备部 军械处, 广东 湛江 524001

摘要：为解决受限玻尔兹曼机（RBM）在学习过程中出现的特征同质化问题,在RBM已有的稀疏模型基础上提出新的混合稀疏惩罚机制（HSPM）.鉴于隐单元之间存在的统计相关性,该机制通过在RBM训练过程中引入交叉熵稀疏惩罚因子,实现对RBM的初步处理；按照基于RBM连接权值列相似性的自适应分组策略，构建稀疏组RBM,并按照稀疏组受限玻尔兹曼机（SGRBM）的形式继续进行隐单元稀疏化.实验结果表明：HSPM能够有效解决RBM特征同质化问题,在隐单元的稀疏程度上优于以往的稀疏惩罚因子,可以整体提高RBM的特征提取能力,并可以成功应用于深度玻尔兹曼机（DBM）的训练.

关键词：

基金资助：国家自然科学基金资助项目（61032001）