智慧电力杂志投稿格式参考范文：计及隐私保护的多智能体深度强化学习有源配电网电压控制策略

　　0 引言

　　随着 “双碳” 目标的提出，可再生能源的利用率越来越高。可再生能源的普及可以提高配电网(Distribution Network, DN)的灵活性和经济性。但这些可再生能源有着很强的间歇性和不确定性，这种不确定性会改变 DN 的潮流分布，从而影响 DN 的安全与稳定运行。因此，在新能源高渗透情形下，实现有源配电网实时的电压稳定受到了科研人员的广泛关注。

　　配电网电压控制问题可以表述为基于最优潮流的非线性规划(Nonlinear Programming, NLP)问题。目前广泛使用的处理 NLP 问题非凸性的方法是松弛技术，例如二阶锥松弛技术(Second Order Cone Programming, SOCP)。这种控制方式不仅需要精确的系统模型和巨大的计算资源，还无法应对可再生能源出力的不确定性。为了应对新能源发电不确定性挑战，人们开发了基于随机规划(Stochastic Programming, SP)方法和鲁棒优化(Robust Optimization, RO)方法的电压控制策略。考虑到 SP 方法通常需要对系统的概率模型有完整认知，并且 RO 方法属于保守控制，这两种方法都无法满足实时在线控制的要求。

　　近年来，深度强化学习(Deep Reinforcement Learning, DRL)因自适应性强和灵活度高逐渐被应用于配电网实时电压控制领域。目前集中式训练分散式执行架构受到了科研人员的广泛关注。在集中训练阶段，需要将全局的历史信息统一上传到训练器以供智能体训练使用。即使是历史信息也需要考虑隐私保护，尽可能的减少信息的传播。另一方面，在上述研究中低采样效率、高训练难度，协同差等问题也没有得到很好解决。

　　为了解决隐私保护、协同性差等问题，本文提出了一种基于神经网络参数共享(Parameter Sharing, PS)的多智能体深度强化学习算法。多个智能体在集中训练阶段使用各自的观测进行动作，不进行全局信息的直接共享。然后将获得经验去标签化后上传到共享的经验回放机制中，用于训练一套共享的神经网络。在这一步骤中，共享的信息是经过智能体处理后的二次数据，同时我们还使用了去除分区标签的方式实现了一定程度的数据匿名化。数据训练中心无法得知数据的具体来源，进而从一定程度上缓解了隐私泄漏的风险。为了提高多个智能体之间协同性，在多个智能体之间共同训练了一套动作网络和评价网络。然后这个单一的神经网络在训练完成后被分发给所有智能体使用以提高协同性。具体来说，本文使用参数共享技术改进的深度确定性策略梯度算法(Deep Deterministic Policy Gradient, DDPG)对模型进行求解，通过仿真验证了所提 PS-DDPG 方法的先进性。

　　1 配电网电压控制模型

　　1.1 目标函数

　　为维持电压稳定，将电压偏差定义为目标函数。

　　1.2 配电网模型

　　有源配电网的有功功率约束和无功功率约束，功率守恒定律，电压约束，光伏约束，风力发电机约束，静态无功补偿(Static Var Compensator, SVC)约束。

　　本文采用的是一种交流潮流模型，其可以很好地表述主动配电网(Active Distribution Network, ADN)的特性。然而，三角函数的引入会造成模型的非凸和非线性问题。为此，在大多数研究中会采用直流潮流、DistFlow 模型等模型去近似，或采用二阶锥方法进行缩放。对于基于 DRL 的无模型控制方法，模型并不直接参与控制策略的求解，仅仅用于得出一组用于评价控制策略的数据结果。因此，在本文中采用了较为传统的交流潮流模型建立对 ADN 的描述。

　　1.3 分散式部分可观测马尔科夫决策过程

　　本文在训练阶段采用的是分散式部分可观测马尔科夫决策。即各个智能体只依据各自控制区域的观测信息进行动作，各个智能体之间并无直接的数据交互。在本文中，智能体是调节其控制区域内电压的控制器，环境是配电网。

　　2 PS-DDPG 算法

　　2.1 区域间的隐私保护

　　多智能体深度强化学习(Multi-agent Deep Reinforcement Learning, MADRL)分为集中式训练和分散式控制两个过程。在集中训练阶段智能体使用全局信息进行训练，在分散控制阶段智能体使用局部信息进行控制。其中，Actor 为策略网络，Critic 为价值网络。PS 在集中训练过程中不共享全局信息，各个智能体依据局部的观测信息进行训练。然后由训练中心将训练好的神经网络参数以复制的形式在各个智能体之间进行共享，避免了全局信息的传播。在这一步骤中，共享的信息是经过智能体处理后的二次数据，同时我们还使用了去除分区标签的方式实现了一定程度的数据匿名化。数据训练中心无法得知数据的具体来源，进而从一定程度上缓解了隐私泄漏的风险。

　　另一方面，在 PS 架构下，各个智能体已经将包含有各自区域特色的控制经验进行了上传，在神经网络参数更新的过程中包含了各个区域的差异性。因此，智能体所能学习到的策略可以应对各个区域的差异性，还可以提高智能体的学习速率和不同智能体之间的协同性。此外，多个智能体共享经验回放缓冲区在提高采样效率的同时还可以减少内存的使用，这有助于提高收敛速度和稳定性。共享经验回放机制汇集了来自不同区域、不同智能体的多样化数据，对于配电网来说，即使某个智能体的观测信息不完整或存在不对称性，这些多样化的经验数据能够帮助神经网络在训练中学习到更加全面和鲁棒的策略，提升整个系统在复杂环境下的适应能力。

　　在 PS 架构下，各个智能体执行分散式的部分可观测马尔科夫过程保证了智能体决策的自主性，通过对控制经验去标签化的上传方式缓解了智能体之间的隐私问题，通过共享经验回放机制和共享神经网络的方式保证了多智能体之间的协同性。需要注意的是文中主要缓解的是各个智能体之间的数据交换导致的隐私问题，出发点是如何在减少信息共享的前提下，得到一个较为全面的控制策略。对于在各个智能体的经验统一上传到训练中心过程中的隐私保护问题并不在本文的研究范围。在未来可以使用本地加密机制、安全通信协议、差分隐私(Differential Privacy, DP)技术解决这个问题。

　　2.2 训练算法PS-DDPG

　　采用 Actor-Critic(A-C)框架。Actor 的目标是学习一个确定性策略(mu_{varphi}(o))，该策略根据观测给出一个控制动作((a)) Cric 通过计算相应的估计动作的质量(Q_{ heta}(o,a))，其中( heta)为网络的特征参数。其中环境为标准 IEEE 33 节点标准配电系统，在节点 10,15,20,23,27,32 处安装了分布式光伏发电设备，分别命名为 PVC1,PVC2,PVA1,PVA2,PVB1,PVB2;在节点 18,22,29 处安装了分布式风力发电设备，分别命名为 WTC,WTA,WT;在节点 13,25,30 安装了静态无功补偿器 SVC，分别命名为 SVCC,SVCA,SVCB。Actor 网络的特征参数为(varphi)，在状态(s_1)时，智能体会获得一个观测量(o_t)，然后依据(a_t=mu_{varphi}(o_t))给出控制动作。这个动作随后被应用到环境中，产生奖励(r_1)和下一时刻的状态(s_{1+1})，智能体可以得到下一时刻的观测(o_{r+1})。然后将元素组((o_t,a_t,r_t,o_{t+1}))作为 “经验” 存储在经验重放缓冲区中。当经验重放缓冲区存储的存储量到达上限以后，智能体就会随机抽取一小批样本B。对于小批量抽样中的每个样本，观测(o_1)和动作(a_r)被输入到网络，产生 Q 值。

　　然后网络更新特征参数为(varphi);网络更新参数( heta)，持续迭代训练过程直到收敛。Q 值估计方法为最小化式中损失函数：式中：(L_{ heta})为网络损失函数;(r_t+gamma Q_{ heta}(o_{t+1},mu_{varphi}(o_{t+1})))为时间 t 的目标 Q 值;(Q_{ heta}(o_t,a_t))为估计的 Q 值。通过策略梯度更新 actor 网络中的参数：式中：( abla)为参数(varphi)的梯度;(J(varphi))为网络的目标函数;(y_1)为目标值函数;(r(o_1,a_t))为 t 时刻局部观测值(o_t)在动作(a_t)下的奖励;(Q_{ heta})为 t 时刻局部观测值(o_1)和动作(mu_{odot}(o_t))下的目标价值函数;(gamma)为折扣因子。Actor 网络参数更新：Critic 网络参数更新：式中：(L_{varphi})为网络损失函数;(alpha^{4})为网络的学习率;(alpha^{ heta})为网络的学习率。目标 Actor 网络和目标 Critic 网络参数更新：式中：( au)为软更新系数。

　　3 算例分析

　　3.1 算例介绍及算法参数设置

　　本文仿真测试基于硬件平台 AMDi9-13900HXCPU NVIDARTX4070GPU 实现。算例基于 IEEE 33 节点标准配电系统进行仿真。在节点处分别安装分布式光伏发电设备、分布式风力发电设备、静态无功补偿器 SVC。区域 A 光伏容量为 1.4 MW，区域 B 光伏容量为 1.5 MVA，区域 C 光伏容量为 1.65 MVA，3 个区域 SVC 容量为 1000 kVar，风机容量为 1 MW。根节点电压的标幺值是 1.00 p.u.，电力系统的基准电压等级是 12.66 kV，系统的安全运行范围在 0.95 p.u. 和 1.05 p.u. 之间。利用已有数据随机生成 3000 次运行场景。对各种算法在这 3000 次运行场景中的表现展开分析。本文设置强化学习环境的训练回合数为 3000 轮，每个回合随机选择 1 d 的数据进行训练。在这个过程中，我们对训练样本和系统的初始状态都进行了随机化处理。

　　3.2 训练效果分析

　　在本节的对比实验中选取了集中式训练集中式执行架构的 DDPG 算法、传统集中式训练分散式执行架构的多智能体深度确定性策略梯度算法(Multiagent Deep Deterministic Policy Gradient, MADDPG)与本文所提出的 PS-DDPG 进行对比。黄色虚线部分为 PS-DDPG 在 3000 轮实验中每轮实验的奖励值，用 PS-DDPG 命名。紫色实线表示 PS-DDPG 在 3000 轮实验中每 100 轮实验对奖励值取滑动平均，以 APSDDPG 命名。对比整个训练过程，PS-DDPG 的训练过程最稳定。PSDDPG 的收敛轮数(第 400 轮左右)明显早于 DDPG(第 1800 轮左右)。同时，MADDPG 的训练过程出现了较大波动。

　　3.3 控制效果分析

　　通过测试集的控制效果分析 PS-DDPG 的性能和效果。随机选取 1 d 数据进行测试，该日系统的光伏(PV)、风机(WT)和负荷(LOAD)需求量曲线，PV 和 WT 的输出具有明显的随机性，其中 13:00 时光伏发电的产能达到了最大值。在未采用任何电压控制策略时，各节点电压的分布图和箱线图，配电网电压波动较大且分布不均匀。当光伏和风电的输出功率较高时，负荷无法完全吸收，造成了潮流倒送，进而使部分节点电压超过安全运行上限。并且当负荷需求量过大的时候还出现了部分节点电压低于安全运行下限的情况。经过 PS-DDPG 电压控制策略的优化，各节点电压的分布图和箱线图。全天的电压都保持在安全运行范围内，这表明该策略取得了出色的电压控制效果。文献 [15] 已验证了 MADDPG 方法相比 DQN 强化学习算法、DDPG 强化学习算法、粒子群优化算法(Particle Swarm Optimization, PSO)在控制效果上的优势，因此本文选取 SOCP 作为基于模型控制的代表并且选取 MADDPG 作为 MADRL 中的代表，将选取的 2 种算法与改进型 PS-DDPG 算法进行对比。

　　本文将按照以下方案展开对比分析：(1)原始方法，不对光伏、SVC、风力发电机施加任何控制使其随机运行;(2)SOCP 控制策略(基于模型的集中式控制)，该方法假定负荷以及可再生能源出力已知并且不会变化;(3)取 MADDPG 算法对系统进行传统的集中式训练分散式控制;(4)本文所提的 PSDDPG 方法，对系统进行改进的集中式训练和分散式协同控制。

　　可以发现：接入光伏和风力发电系统后，电压波动明显增大。如果没有采用任何电压控制策略，配电网的电压由于光伏和风力发电机有功功率的注入而上升，从而超过了电压安全上限。同时，由于夜间负荷需求量较大，出现了电压低于下限的情况，这可能对系统的安全稳定运行造成威胁。虽然采用 SOCP 控制和基于 DRL 的控制策略都可以有效地维持节点电压在安全的运行范围内，但是控制效果并不相同。

　　SOCP 作为理论最优其电压曲线最平稳，电压幅值也最接近标幺值。PS-DDPG 的电压曲线明显比 MADDPG 的平滑，PS-DDPG 的电压幅值相比于 MADDPG 更接近于标准值。电压偏差总和与计算时间等其他指标(电压偏差总和是指在一天内的所有时段中，各个节点电压偏差的总和)。

　　虽然 SOCP 的电压控制效果最好，但是它的运行时间最长。这并不适用于快速变化的配电网和具有极强不确定性的可再生能源。而基于 DRL 的控制方式具有明显的速度优势，可以应对配网的不确定性。由于 ADN 的电压控制是全局合作任务，各个智能体之间采用合作博弈，这种合作博弈又会依赖智能体之间的协同性能。此外，参数共享机制增强了各个智能体之间的协同性，PS-DDPG 在电压偏差、最高和最低电压的控制、电压稳定度方面都比 MADDPG 控制方法表现得好。将 SOCP 的控制效果设定为 100%，则 PS-DDPG 的电压偏差控制率为 98.98%、MADDPG 的电压偏差控制率为 97%。对于最高电压控制率，PS-DDPG 为 88.42%、MADDPG 为 86.95%。对于最低电压控制率，PS-DDPG 为 99%、MADDPG 为 93.39%，相比之下 PS-DDPG 的提升较为明显。综合训练过程和控制结果，PS-DDPG 在减少全局数据传播、保护数据隐私的情况下，训练稳定性、收敛速度、控制效果都有不错的表现。

　　4 结语

　　本文提出了一种计及区域间隐私保护的 DDPG 算法，并将提出的算法用于具有较高可再生能源渗透率的配电系统电压调节。在训练过程中共享各个智能体的神经网络参数和经验重放缓冲区，在保护隐私的同时还有助于增强算法训练的稳定性、提高收敛速度，从而使得 PS-PDDPG 算法更适用于分散式协同控制场景。本文所提 PS-DDPG 电压控制方法比现有的 MADRL 电压控制方法更为优异。

刘 洋;伍双喜;朱 誉;杨 苹;孙 涛,广东电网有限责任公司电力调度控制中心;广东省绿色能源技术重点实验室,202412