基于共轭梯度的极速学习机

来源：计算机应用杂志2015年第10期北京时间：

作者：张沛洲, 王熙照, 顾迪, 赵士欣

单位：1. 河北大学 数学与信息科学学院, 河北 保定 071002;2. 河北省机器学习重点实验室(河北大学), 河北 保定 071000;3. 河北大学 计算机科学与技术学院, 河北 保定 071002;4. 河北大学 管理学院, 河北 保定 071002;5. 石家庄铁道大学 数理系, 石家庄 050043

摘要：极速学习机(ELM)由于具有较快的训练速度和较好的泛化能力而被广泛的应用到很多的领域,然而在计算数据样例个数较大的情况下,它的训练速度就会下降,甚至会出现程序报错,因此提出在ELM模型中用改进的共轭梯度算法代替广义逆的计算方法。实验结果表明,与求逆矩阵的ELM算法相比,在同等泛化精度的条件下,共轭梯度ELM有着更快的训练速度。通过研究发现:基于共轭梯度的极速学习机算法不需要计算一个大型矩阵的广义逆,而大部分广义逆的计算依赖于矩阵的奇异值分解(SVD),但这种奇异值分解对于阶数很高的矩阵具有很低的效率;因为已经证明共轭梯度算法可通过有限步迭代找到其解,所以基于共轭剃度的极速学习机有着较高的训练速度,而且也比较适用于处理大数据。

关键词：极速学习机,广义逆,共轭梯度法,奇异值分解

基金资助：国家自然科学基金资助项目(61170040,71371063,71201111)。