二阶Newton法训练径向基函数神经网络的算法研究

来源：计算机研究与发展杂志2015年第7期北京时间：

作者：蔡珣,陈智,KanishkaTyagi,于宽,李子强,朱波,

摘要：提出了一种混合加权距离测量(weighteddistancemeasure，weightedDM)参数的构建和训练RBF(radialbasisfunction)神经网络的两步批处理算法.该算法在引进了DM系数参数的基础上，采用Newton法分别对径向基函数的覆盖参数、均值向量参数、加权距离测度系数以及输出权值进行了优化，并在优化过程中利用OLS(orthogonalleastsquares)法来求解Newton法的方程组.通过实验数据，不仅分析了Newton法优化的各个参数向量对RBF网络训练的影响，而且比较了混合优化加权DM与RLS-RBF(recursiveleastsquareRBFneuralnetwork)网络训练算法的收敛性和计算成本.所得到的结论表明整合了优化参数的加权DM-RBF网络训练算法收敛速度比RLS-RBF网络训练算法更快，而且具有比LM-RBF(Levenberg-MarquardtRBF)训练算法更小的计算成本，从而说明OLS求解的Newton法对优化RBF网络参数具有重要应用价值.

关键词：径向基函数神经网络, Hessian矩阵, Newton法, 正交最小二乘法, 网络参数优化, 最优学习因子,