基于混合动作强化学习的电动汽车聚合商决策优化算法

来源：计算机工程杂志2024年第10期北京时间：

作者：孔月萍, 杨世海, 段梅梅, 丁泽诚, 方凯杰

单位：国网江苏省电力有限公司营销服务中心, 江苏 南京 210019

摘要：电动汽车可以在聚合商的集中式管理下形成规模化灵活可调资源, 从而在能源市场上套利并为电网提供辅助服务。为此, 提出一种基于混合动作强化学习的电动汽车聚合商决策优化算法。该算法利用连续动作优化市场投标决策, 根据离散动作控制不同功率分解策略的动态切换, 从而实现市场投标与功率分解决策的联合优化。此外, 还提出了一种考虑单位灵活性价值的电动汽车聚合灵活性建模方法, 在最大化日总灵活性价值的同时确保每台汽车的充电需求得到满足。仿真实验结果表明, 动态策略切换能够充分利用优先级分解策略和比例分解策略在延缓电池衰减、维持电池双向调节灵活性方面的各自优势, 与仅考虑投标决策优化的算法相比, 所提算法可以进一步提升电动汽车充电站的运行经济性。

关键词：强化学习,混合动作输出,电动汽车聚合商,功率分解,市场投标

基金资助：国网江苏省电力有限公司科技项目(J2022127)