基于 A3C 的有序充电算法

来源：计算机技术与发展杂志2023年第01期北京时间：

作者：张文龙;张洁

摘要：由于电动汽车的日益普及,其充电问题已成为电力系统的新的用电挑战。 实际生活中,充电站一般都被认为是电动汽车有序充电行为的调度主体。 为解决传统模型驱动的充电算法无法应用于电动汽车随机进站的问题,提出将数据驱动的无模型深度强化学习算法 A3C( Asynchronous Advantage Actor-critic,异步演员评论家算法) 应用于有序充电。 该算法利用特征函数来近似模型所需要的价值函数和策略函数,解决因随机进站而引起的空间维度变化的问题。 通过需求响应机制关联充电费用和需求,实现两者的动态调度。 为避免因为经验回放而导致的数据相关性过强,利用多线程实现模型与多个环境进行互动,提高了模型的收敛性。 最后以某地区充电站实测数据为例进行仿真分析。 结果表明,该算法在只基于历史充电数据的情况下能优化充电行为,较大程度地抑制充电负荷方差,实现削峰填谷,同时在满足用户需求的基础上提高充电站收益。

关键词：有序充电;数据驱动;强化学习;深度学习;A3C