拉普拉斯多层极速学习机

来源：软件学报杂志2017年第10期北京时间：

作者：丁世飞,张楠,史忠植

单位：丁世飞，中国矿业大学 计算机科学与技术学院, 江苏 徐州 221116;中国科学院 计算技术研究所 智能信息处理重点实验室, 北京 10019011,张楠，中国矿业大学 计算机科学与技术学院, 江苏 徐州 221116;中国科学院 计算技术研究所 智能信息处理重点实验室, 北京 10019002,史忠植，中国科学院 计算技术研究所 智能信息处理重点实验室, 北京 10019003

摘要：极速学习机不仅仅是有效的分类器，还能应用到半监督学习中.但是，半监督极速学习机和拉普拉斯光滑孪生支持向量机一样，是一种浅层学习算法.深度学习实现了复杂函数的逼近并缓解了以前多层神经网络算法的局部最小性问题，目前在机器学习领域中引起了广泛的关注.多层极速学习机（ML-ELM）是根据深度学习和极速学习机的思想提出的算法，通过堆叠极速学习机-自动编码器算法（ELM-AE）构建多层神经网络模型，不仅实现了复杂函数的逼近，并且训练过程中无需迭代，学习效率高.把流形正则化框架引入ML-ELM中，提出拉普拉斯多层极速学习机算法（Lap-ML-ELM）.然而，ELM-AE不能很好地解决过拟合问题.针对这一问题，把权值不确定引入ELM-AE中，提出权值不确定极速学习机-自动编码器算法（WU-ELM-AE），可学习到更为鲁棒的特征.最后，在前面两种算法的基础上提出权值不确定拉普拉斯多层极速学习机算法（WUL-ML-ELM），它堆叠WU-ELM-AE构建深度模型，并用流形正则化框架求取输出权值.该算法在分类精度上有明显提高并且不需花费太多的时间.实验结果表明，Lap-ML-ELM与WUL-ML-ELM都是有效的半监督学习算法.

关键词：极速学习机;半监督学习;多层极速学习机;流形正则化;权值不确定

基金资助：国家自然科学基金（61672522，61379101）；国家重点基础研究发展计划（973）（2013CB329502）