DDPG算法优化永磁同步电机位置控制研究
1. 项目背景与核心价值
永磁同步电机（PMSM）作为现代工业驱动领域的核心部件，其位置控制精度直接影响高端装备制造、机器人关节等关键场景的性能表现。传统PI控制器虽然结构简单，但在非线性工况下容易出现超调、振荡等问题；模糊PI控制器通过规则库优化参数，但依赖专家经验且动态响应仍有提升空间。本项目采用深度确定性策略梯度（DDPG）算法构建强化学习控制器，在Simulink环境中实现三种控制方案的对比验证。
关键突破点：首次将DDPG算法与电机转子位置误差、误差变化率双状态量结合，设计连续动作空间下的转矩指令输出策略，解决传统方法在变负载工况下的自适应难题。
2. 系统建模与仿真框架
2.1 PMSM数学模型构建
在dq旋转坐标系下建立电机动态方程：
电压方程： v_d = R_s*i_d + L_d*di_d/dt - ω_e*L_q*i_q v_q = R_s*i_q + L_q*di_q/dt + ω_e*(L_d*i_d + ψ_f) 运动方程： J*dω_m/dt = T_e - T_L - B*ω_m T_e = 1.5p[ψ_f*i_q + (L_d - L_q)*i_d*i_q]其中ψ_f为永磁体磁链，p为极对数。在Simulink中采用Park/Clarke变换模块实现坐标转换，通过SVPWM模块生成逆变器驱动信号。
2.2 控制方案实现
2.2.1 传统PI控制器设计
位置环采用串级控制结构：
外环（位置）：u_θ = Kp_θ*(θ_ref - θ) + Ki_θ*∫(θ_ref -θ)dt 内环（速度）：ω_ref = sat(u_θ, ω_max)参数整定采用Ziegler-Nichols临界比例法，实测临界增益K_cr=12.5，振荡周期T_cr=0.08s，最终取Kp=7.5, Ki=187.5。
2.2.2 模糊PI控制器设计
建立双输入单输出模糊推理系统：
- 输入变量：位置误差e（论域[-5,5]度）、误差变化率ec（论域[-50,50]度/s）
- 输出变量：ΔKp、ΔKi（论域[-30%,30%]）
- 隶属度函数：7个三角型模糊集（NB,NM,NS,Z,PS,PM,PB）
- 规则库示例：IF e is PB AND ec is Z THEN ΔKp is PB, ΔKi is NB
2.2.3 DDPG控制器实现
% 演员网络结构 actorNet = [ featureInputLayer(2,'Name','state') fullyConnectedLayer(64,'Name','fc1') reluLayer('Name','relu1') fullyConnectedLayer(32,'Name','fc2') reluLayer('Name','relu2') fullyConnectedLayer(1,'Name','output') tanhLayer('Name','tanh1')]; % 输出归一化转矩指令 % 经验回放缓存设置 buffer = rlReplayBuffer(10000,'SampleTime',0.001); agentOpts = rlDDPGAgentOptions('SampleTime',0.001,... 'DiscountFactor',0.99,... 'TargetSmoothFactor',1e-3);3. 关键实现细节
3.1 状态空间设计
强化学习观测状态包含：
- 位置跟踪误差：θ_err = θ_ref - θ_actual
- 误差变化率：dθ_err/dt 状态归一化处理：
obs = [θ_err/10; (dθ_err/dt)/100]; % 分母为经验值3.2 奖励函数设计
采用分段奖励机制：
r = - (w1*|θ_err| + w2*|T_e|) % 基础项 if |θ_err|>5° r = r - 10 % 超调惩罚 elseif |θ_err|<0.1° r = r + 1 % 稳态奖励 end经网格搜索确定权重w1=0.8, w2=0.2。
3.3 训练策略
- 探索噪声：OU过程，θ=0.15, σ=0.2
- 训练场景：包含阶跃响应（5°→15°）、正弦跟踪（2Hz）、负载突变（0→5Nm）
- 关键参数：批大小128，学习率actor=1e-4, critic=1e-3
4. 对比实验结果
4.1 动态性能指标
| 指标 | PI控制 | 模糊PI | DDPG |
|---|---|---|---|
| 上升时间(ms) | 45.2 | 38.7 | 32.1 |
| 超调量(%) | 12.3 | 8.5 | 1.2 |
| 稳态误差(°) | 0.15 | 0.08 | 0.03 |
| 负载抗扰(°) | 1.8 | 0.9 | 0.2 |
4.2 典型工况对比
4.2.1 阶跃响应（10°→20°）
- PI控制：出现明显超调（14.7%），调节时间185ms
- DDPG：超调量仅2.3%，且120ms进入稳态带
4.2.2 变负载工况（5Nm突加）
传统PI出现1.5°位置跌落，恢复时间220ms；DDPG控制器仅产生0.3°瞬时偏差，80ms内恢复。
5. 工程实现建议
5.1 部署优化技巧
- 网络量化：将actor网络权重从float32转为fixed-point（Q15格式），内存占用减少75%
- 实时性保障：在STM32H743上实测推理时间0.8ms（216MHz主频）
5.2 参数调试经验
- 奖励权重调整：先固定w2=0调w1确保跟踪精度，再逐步增加w2抑制控制量
- 探索噪声衰减：建议按σ=σ_maxexp(-kepisode)策略，k=0.003
实测发现：当状态量包含电流环信息时（如i_d, i_q），训练收敛速度提升40%，但需权衡观测维度增加带来的计算开销。
6. 扩展应用方向
本方法可迁移至：
- 多电机协同控制（需改造成多智能体架构）
- 带弹性负载的机械臂关节控制（增加振动状态观测）
- 能量优化控制（修改奖励函数加入效率项）
在实际伺服系统中，建议采用"RL+PI"的混合架构：RL负责前馈补偿，PI维持基础稳定，既保证鲁棒性又具备学习能力。这种架构在某型号SCARA机器人上实测位置重复精度达到±0.01°，较纯PI控制提升5倍。