基于批量递归最小二乘的自然Actor-Critic算法

来源：浙江大学学报·工学版杂志2015年第7期北京时间：

作者：王国芳, 方舟, 李平

单位：浙江大学 航空航天学院,浙江 杭州 310027

摘要：为了减轻Actor-Critic结构中智能体用最小二乘法估计自然梯度时的在线运算负担,提高运算实时性,提出新的学习算法：NAC-BRLS.该算法在Critic中利用批量递归最小二乘法估计自然梯度,根据估计得到的梯度乐观地更新策略.批量递归最小二乘法的引入使得智能体能根据自身运算能力自由调整各批次运算的数据量,即每次策略估计时使用的数据量,在全乐观和部分乐观之间进行权衡,大大提高了NAC-LSTD算法的灵活性.山地车仿真实验表明, 与NAC-LSTD算法相比,NAC-BRLS算法在保证一定收敛性能的前提下,能够明显降低智能体的单步平均运算负担.

关键词：

基金资助：国家自然科学基金资助项目(61004066);浙江省自然科学基金资助项目(LY15F030005)