基于HAR-TD3与VAE的主动配电网电压无功协同控制方法

1. 项目概述与核心挑战

在主动配电网的日常运行中，电压无功控制（VVC）就像一位经验丰富的“电网调音师”，它的核心任务是通过精细调节无功功率和电压水平，确保电网这张庞大的“交响乐谱”始终和谐稳定。传统上，这位调音师主要依赖有载调压变压器（OLTC）和电容器组（CB）这类“大动作、慢响应”的乐器（离散设备），通过改变分接头位置或投切电容组来调整电压。然而，随着分布式光伏（PV）大规模接入，电网的“旋律”变得复杂且快速波动——光伏出力受天气影响瞬息万变，极易引发局部电压越限。这时，就需要光伏逆变器、静止无功补偿器（SVC）这类“小动作、快响应”的智能乐器（连续设备）来实时微调。

真正的挑战在于，如何让这两类“演奏习惯”截然不同的乐器协同演出？传统基于精确物理模型的优化方法，好比要求调音师必须拿到绝对准确的乐谱（网络拓扑、线路参数）才能指挥，这在规模庞大、结构多变的实际配电网中几乎不可能。而早期的深度强化学习（DRL）方法，虽然能通过“试错”学习策略，但其“乐谱”（动作空间）往往是单一的，要么只能指挥离散乐器（如DQN算法），要么只能指挥连续乐器（如DDPG、TD3算法）。当需要同时指挥二者时，要么将它们割裂开用不同算法控制，忽略了动作间的内在关联；要么强行将离散动作连续化处理，牺牲了控制精度。

我们提出的HAR-TD3（基于混合动作表示的双延迟深度确定性策略梯度）方法，正是为了解决这一核心矛盾。其核心思路是：在一个统一的强化学习智能体框架下，原生地支持对离散和连续动作的联合决策与协同优化。我们借鉴了“参数化动作马尔可夫决策过程（PAMDP）”的思想，对经典的TD3算法进行了混合动作空间改造，使其能同时输出离散和连续动作。更关键的是，我们引入了一个基于变分自编码器（VAE）的混合动作重构网络。这个网络就像一个“高级翻译官”，它将离散动作（如“OLTC升1档”）和连续动作（如“逆变器输出-0.3倍额定无功”）都编码到一个统一的、低维的“潜在语义空间”中。在这个空间里，算法能够学习并捕捉到“升档”与“增加容性无功”之间的动态关联与协同效应，从而做出更优的联合决策。

2. 核心原理与算法架构拆解

2.1 问题建模：马尔可夫决策过程（MDP）

要将VVC问题转化为强化学习任务，首先需要将其形式化为一个MDP，即定义清楚状态、动作、奖励和状态转移。

状态（State）：智能体观察到的电网实时“健康状况”。在我们的设计中，状态向量st包含：

• Vt: 所有节点的电压幅值。这是最直接的被控量，是判断控制效果的核心依据。
• P_PV_t: 所有光伏逆变器的有功出力。这反映了当前新能源的发电情况，是影响电压的主要扰动源。
• Q_SVC_t: 所有SVC的无功出力。这反映了当前连续无功补偿设备的运行点。
• kt: 上一步采取的离散动作的索引。这为智能体提供了历史决策的记忆，有助于理解动作的延续性。
• load_t: 负荷功率因数。反映了负荷的无功需求特性。
• t: 时间步。让智能体感知到日内负荷与光伏出力的周期性变化模式。

混合动作（Hybrid Action）：这是本方法的创新核心。动作空间被明确划分为离散和连续两部分：

• 离散动作a_d_T：对应慢时间尺度（如1小时）设备。例如，一个包含1台11档位OLTC和1台4级CB的系统，其离散动作空间是11×4=44种组合。智能体输出的是一个44维的向量，通过索引映射到具体的设备动作（如OLTC档位=2， CB投入级数=3）。
• 连续动作a_c_t：对应快时间尺度（如15分钟）设备。例如，对于5台PV逆变器和1台SVC，连续动作是一个6维向量，每个值在[-1, 1]之间，通过线性映射转换为设备实际的无功出力指令（如-0.5表示发出50%额定容量的感性无功）。

奖励（Reward）：引导智能体学习的“指挥棒”。我们设计了一个复合奖励函数：r_t = -P_loss_t - ρ * V_loss_t其中，P_loss_t是当前时刻的电网总有功损耗，V_loss_t是所有节点电压越限量的总和（超过上限或下限的部分），ρ是一个惩罚系数。这个设计直观而有效：智能体的目标就是最小化网损和电压越限。通过调整ρ，可以权衡对电压质量与运行经济性的侧重。

时间尺度约束：这是模拟现实设备物理特性的关键。我们在智能体内部设计了一个更新门控机制：离散动作每4个时间步（即1小时）才允许更新一次，而在中间的3个步长内保持原值。这强制智能体学会“长远规划”——为未来一小时选定一个合适的离散动作组合后，主要依靠连续设备进行快速的精细调节来应对短期波动。

2.2 算法基石：TD3与混合动作空间改造

TD3算法是DDPG的改进版本，以其训练稳定、能有效克服Q值过估计而闻名。它采用“演员-评论家”框架：

• 演员网络（Actor）：根据当前状态s_t，输出一个确定的动作a_t。
• 评论家网络（Critic）：评估在状态s_t下执行动作a_t的好坏，输出一个Q值。

TD3的核心技巧包括：1) 使用两个独立的评论家网络并取最小值作为目标Q值，以抑制过估计；2) 在目标动作上添加裁剪噪声，以平滑策略更新；3) 延迟演员网络更新，提升稳定性。

我们对TD3的演员网络进行了关键改造，使其支持混合动作输出：

# 伪代码示意：改造后的演员网络前向传播 def actor_forward(state): shared_features = MLP(state) # 共享特征提取层 shared_features = ReLU(shared_features) # 分支一：输出离散动作 logits (维度 L_d) discrete_logits = tanh_d(FC_layer(shared_features)) # 分支二：输出连续动作 (维度 L_c) continuous_action = tanh_c(FC_layer(shared_features)) # 应用时间尺度约束 if current_step % slow_interval != 0: discrete_logits = previous_discrete_action # 保持上一小时的动作 return discrete_logits, continuous_action

这个结构让一个网络同时学习两种策略，其参数共享层有助于捕捉状态信息中与两类设备都相关的共性特征。

2.3 灵魂所在：基于VAE的混合动作重构网络

仅有混合动作输出还不够，因为离散和连续动作在原始形式下是异构的、难以直接关联的。我们的混合动作重构网络是实现高效协同的关键。它的工作流程如同一个精密的编码-解码系统：

1. 离散动作嵌入（Embedding）：我们维护一个可学习的嵌入表E，其大小是K x L_d，K是所有可能的离散动作组合总数（如前例中的44种）。演员网络输出的离散动作向量a_d并不直接使用，而是与嵌入表中的每一行计算L2距离，找到最匹配的那一行索引k_t。该行对应的向量E^d_t就是该离散动作的“语义嵌入”。这个过程相当于为每个“粗调指令”（如“OLTC升1档，CB投2组”）分配了一个可优化的、富含信息的向量表示。

2. 联合编码与潜在空间学习：我们将离散动作的嵌入向量E^d_t、连续动作向量a_c_t以及当前状态s_t一起送入一个变分自编码器（VAE）的编码器。编码器学习将它们压缩到一个低维的潜在表示空间（Latent Representation Space）z。z服从一个高斯分布N(μ, σ)，其均值和方差由编码器输出。

   为什么用VAE？VAE不仅能压缩信息，更重要的是其潜在空间z通常是连续、平滑且结构化的。这迫使网络学习到离散动作、连续动作和系统状态之间最本质的、与决策相关的关联。例如，它可能学到“当光伏大发导致电压偏高时，‘降档’的离散动作嵌入与‘增加感性无功’的连续动作向量，在潜在空间中是接近的”。

3. 动作重构与状态预测：解码器接收潜在变量z、离散动作嵌入E^d_t和状态s_t，重构出最终的连续动作a_c_t用于执行。同时，解码器还有一个额外的输出头，用于预测下一时刻的状态变化δ_s ≈ s_{t+1} - s_t。这个辅助任务极大地帮助了网络理解动作对系统动态的长期影响。

4. 训练目标：该网络的损失函数L由两部分组成：

   • 重构损失：确保解码器能准确还原出连续动作。
   • KL散度损失：约束潜在空间z接近标准正态分布，保证其规整性和泛化能力。
   • 状态预测损失：ε * L_s，其中L_s是状态预测的均方误差。超参数ε用于平衡动作重构精度与状态预测能力。我们的实验发现，适中的ε（如1~2）能带来最佳控制性能，因为它让智能体在决策时兼顾了即时效果和长远影响。

3. 系统实现与训练实战要点

3.1 仿真环境搭建与参数设置

我们基于PyTorch框架实现了HAR-TD3算法，并在修改后的IEEE 33、69、123节点标准配电系统上进行了验证。每个测试系统都混合部署了OLTC、CB（离散设备）以及PV逆变器和SVC（连续设备）。

关键参数设置经验：

• 网络结构：演员和评论家网络均采用3层全连接MLP，隐藏层维度为256，使用ReLU激活。这是兼顾表达能力和训练速度的常见选择。
• 经验回放池：我们设置了两个回放池。一个用于智能体（Actor-Critic）训练，容量为10万条；另一个专门用于VAE预训练和微调，容量为100万条。将VAE的训练数据与策略数据分离至关重要，可以防止早期探索阶段的低质量数据污染VAE的学习。
• 学习率：Critic网络和Actor网络的学习率设为3e-4，这是Adam优化器下RL训练的常用值。VAE相关网络（编码器、解码器、嵌入表）的学习率设为1e-4，稍小以保证预训练的稳定性。
• 探索噪声：采用截断高斯噪声（clip(N(0, 0.1), -c, c)），c=0.5。在训练初期，可以适当增大噪声标准差以鼓励探索；在训练后期，可以逐渐减小以稳定策略。

3.2 三阶段训练策略：稳扎稳打的成功之道

直接端到端训练如此复杂的系统极易失败。我们采用了一个精心设计的三阶段训练策略，这是项目成功的关键：

第一阶段：VAE与嵌入表预训练

• 目标：让VAE网络先学会“理解”动作和状态的基本关系，而不受不成熟策略的干扰。
• 操作：让智能体使用随机策略（或非常简单的启发式规则）在环境中运行1000个回合（天），将收集到的（状态，动作，下一状态，奖励）数据存入VAE的回放池。然后用这100万量级的数据独立训练VAE（编码器、解码器）和嵌入表5000个周期。此时，智能体的策略网络不更新。
• 经验之谈：这个阶段相当于让“翻译官”（VAE）先大量阅读“历史文档”（随机交互数据），建立起对“词汇”（动作）和“语境”（状态）的基本映射关系，即使这个映射最初很粗糙。

第二阶段：固定VAE，训练Actor-Critic

• 目标：在VAE提供的、相对稳定的动作表示基础上，集中精力训练智能体的决策策略。
• 操作：冻结第一阶段训练好的VAE和嵌入表参数。然后启动标准的TD3训练流程，让智能体与环境交互，持续收集数据到智能体的回放池，并更新演员和评论家网络参数1000个回合。此时，VAE作为一个固定的“动作处理器”工作。
• 避坑指南：绝对不要在策略训练初期同时更新VAE。因为初期策略很差，产生的动作数据质量低下，会迅速“教坏”VAE，导致潜在空间崩溃，整个系统训练发散。必须先让策略在一个稳定的动作表示基础上初步成型。

第三阶段：联合微调

• 目标：让策略网络和VAE网络相互适应，进一步优化。
• 操作：解冻VAE和嵌入表的参数，以较小的学习率（如初始学习率的1/10）与Actor-Critic网络一起进行微调训练。此时，策略网络已经相对成熟，它产生的动作数据质量较高，可以反过来帮助VAE学习到更精准、更有利于决策的表示。
• 效果：这个阶段通常能带来性能的进一步提升，使累计奖励曲线收敛到更高的平台。

3.3 动作执行与电网交互逻辑

训练好的智能体在实际控制中的工作流程如下：

1. 状态感知：从SCADA或PMU等数据源获取当前时刻t的电网状态s_t（节点电压、光伏出力、SVC无功、负荷功率因数等）。
2. 策略决策：将s_t输入训练好的演员网络，得到原始的离散动作建议a_d_TD3,t和连续动作建议a_c_TD3,t。
3. 时间尺度判断：检查当前时刻t是否为慢时间尺度更新点（t mod 4 == 0）。如果不是，则离散动作沿用上一小时的值。
4. 动作重构：
   • 根据a_d_TD3,t从嵌入表中查询得到离散动作嵌入向量E^d_t。
   • 将E^d_t、a_c_TD3,t和s_t输入VAE编码器，得到潜在变量z。
   • 将z、E^d_t和s_t输入VAE解码器，重构出最终的连续动作指令a_c_t。
5. 指令映射与下发：
   • 离散动作索引k_t映射为具体的设备指令：OLTC档位 = f1(k_t),CB组投切状态 = f2(k_t)。
   • 连续动作向量a_c_t的每个维度，通过线性缩放映射为具体设备的无功出力设定值：Q_PV_setpoint = a_c_t[i] * Q_PV_rated。
6. 执行与等待：将指令下发给相应设备。等待15分钟（一个控制周期）后，采集新的电网状态s_{t+1}，计算奖励r_t，并开始下一轮决策。

4. 性能验证与对比分析

我们在三个不同规模的测试系统上，将HAR-TD3与四种先进的、能处理混合动作的RL基线方法进行了全面对比：PA-DDPG、HHQN、PDQN以及我们方法的简化版（HAR-TD3 w/o VAE，即去掉VAE重构网络）。

4.1 收敛性能与电压控制效果

收敛曲线分析： 在IEEE 33节点系统中，所有方法都能收敛，但HAR-TD3最终收敛到的累计奖励值最高，且24小时累计电压越限量（CVV）最早趋近于零。在更复杂的69节点和123节点系统中，优势急剧扩大。基线方法在状态-动作空间维度增大后，出现了收敛缓慢、震荡甚至不收敛的情况（如123节点系统中的HHQN）。而HAR-TD3凭借VAE构建的规整潜在空间，依然保持了稳定、快速的收敛，在123节点系统上最终奖励接近0（意味着网损和电压越限都得到了极佳控制）。

关键数据对比： 下表清晰地展示了在123节点系统上，HAR-TD3在控制精度上的压倒性优势：

解读：VAE的引入将电压越限降低了三个数量级！这意味着在一天中，所有节点电压偏离安全范围（0.95-1.05 p.u.）的总和几乎为零。同时，网损也保持了较低水平。这证明了混合动作重构网络对于捕捉异质设备间复杂耦合关系、实现精准协同是不可或缺的。

电压曲线可视化： 对比24小时内的电压曲线最能说明问题。在无控制情况下，电压波动剧烈，频繁越限。基线方法（如PA-DDPG）虽然有所改善，但在傍晚光伏骤减而负荷仍处小高峰时，仍会出现电压低于0.95 p.u.的情况，这是因为其策略未能很好协调慢速的OLTC/CB提前动作与快速的逆变器无功支撑。而HAR-TD3控制的系统，电压曲线始终被牢牢“钳制”在安全范围内，平滑稳定。

4.2 计算效率与实用性考量

有人可能会担心，引入VAE这样相对复杂的网络会增加在线计算负担。我们对单次决策（即根据当前状态计算控制指令）的计算时间进行了测试：

可以看到，HAR-TD3的决策时间比简化版和PA-DDPG增加了约20-25毫秒。然而，这个代价是完全值得且可接受的。考虑到15分钟（900,000毫秒）的控制周期，几十毫秒的计算延迟微不足道。用这微小的计算时间开销，换来电压越限几个数量级的降低和系统安全性的质的飞跃，工程性价比极高。所有的计算均可在边缘计算装置或配电主站上轻松完成。

4.3 超参数影响与调优心得

状态预测损失权重ε：这是一个需要仔细调优的超参数。我们的实验表明（如图10所示），ε存在一个最优区间（在1到2之间）。当ε=0时，VAE只关注动作重构，智能体决策相对“短视”；当ε适中时，状态预测任务迫使潜在空间z编码更多关于系统动态的信息，智能体学会了“走一步看三步”，控制性能最佳；当ε过大（>2）时，VAE过度关注状态预测，反而损害了动作重构的准确性，导致控制性能下降。

训练稳定性技巧：

1. 梯度裁剪（Gradient Clipping）：在训练Critic网络时，对梯度进行裁剪（如设定范数阈值为1.0），这是防止训练发散的标准操作，对TD3系列算法尤其重要。
2. 目标网络软更新（Soft Update）：采用θ_target = τ * θ + (1-τ) * θ_target的方式更新目标网络参数，τ通常取一个很小的值（如0.001）。这比周期性硬更新能带来更稳定的学习过程。
3. 探索噪声衰减：在训练后期，可以线性或指数衰减动作噪声的标准差，使策略从探索逐步转向利用，最终收敛到一个确定性策略。

5. 工程化思考与未来展望

将HAR-TD3方法推向实际应用，还需要考虑几个工程现实问题：

数据驱动与模型泛化：我们方法的优势在于降低了对精确物理模型的依赖，但它依然需要大量的历史或仿真数据进行训练。在实际部署前，需要在包含多种典型场景（晴、雨、云、夏、冬、节假日）的仿真环境中进行充分训练，并利用迁移学习技术，将预训练好的策略快速适配到目标配电网。可以考虑在仿真中引入更复杂的设备模型和不确定性，提升策略的鲁棒性。

安全约束与安全探索：强化学习智能体在探索过程中可能会发出导致电压严重越限或设备过载的危险动作。在实际系统中，必须引入安全层（Safety Layer）。例如，在智能体输出动作后，加入一个快速的、基于简化潮流模型的安全校验模块。如果动作不安全，则将其投影到最近的安全动作上，或者启用一个保守的备用控制器（如传统的下垂控制）。也可以研究安全强化学习（Safe RL）框架，将安全约束直接融入奖励函数或策略优化过程中。

通信与分布式部署：目前我们的框架是集中式的，需要汇集全网状态信息。对于大规模配电网，可以考虑分布式或分层控制架构。例如，可以训练多个智能体分别负责不同区域（馈线或台区），再通过一个高层协调器或采用多智能体强化学习（MARL）进行协同。VAE学到的潜在表示可以作为智能体之间高效通信的抽象信息，减少通信带宽需求。

与现有控制系统的融合：完全取代现有的SCADA/EMS系统是不现实的。更可行的路径是将其作为高级应用软件集成到现有系统中。它可以从SCADA获取实时数据，进行计算，并将优化后的控制设定值下发给OLTC、电容器组控制器和光伏逆变器。系统应设计无缝切换逻辑，当智能体决策异常或通信中断时，能自动切换回本地自动控制或调度员手动控制模式。

从算法演进的角度，未来有几个值得探索的方向：一是研究更高效的离线强化学习（Offline RL）方法，直接利用历史运行数据训练策略，避免漫长且可能不安全的在线探索阶段；二是探索基于Transformer等架构的序列模型，更好地处理电网状态的时间相关性；三是将物理信息（如潮流方程）以软约束或归纳偏置的形式嵌入到神经网络中，或许能进一步提升样本效率和策略的物理可解释性。

在我个人看来，这项工作的最大价值在于它提供了一种处理复杂工业控制系统中“异质多时间尺度决策”问题的通用范式。其核心思想——通过表示学习（如VAE）在潜在空间统一异构的动作/信号，从而让单一智能体能够理解并协同不同性质的执行器——完全可以迁移到其他领域，如综合能源系统调度、机器人多关节协同控制、化工过程优化等。它打通了“离散”与“连续”、“慢速”与“快速”之间的决策壁垒，是迈向更通用、更强大工业AI控制器的重要一步。在实际代码实现时，我建议将VAE重构网络、策略网络、环境接口等模块高度解耦，这样便于单独测试、调优和替换。例如，可以轻松尝试用扩散模型（Diffusion Model）替代VAE来学习动作分布，或者用其他更先进的RL算法作为基础框架。