液压执行器力控制的强化学习安全框架设计
1. 液压执行器力控制中的强化学习挑战与解决方案
液压执行器凭借其高功率密度特性，在工业自动化、工程机械和机器人领域有着广泛应用。然而，这类系统的力控制一直面临三大技术难题：强非线性动力学特性、参数不确定性以及训练过程中的安全性风险。传统基于模型的控制方法（如PID、反馈线性化）往往难以同时应对这些挑战。
近年来，强化学习（RL）技术展现出解决这类复杂控制问题的潜力。RL通过与环境交互自主学习控制策略，能够适应系统非线性并在线优化性能。但在液压系统这类高功率设备上直接训练RL策略存在显著风险：探索性动作可能导致压力骤升、机械振荡甚至硬件损坏。这导致大多数研究仅限于仿真环境训练，再通过sim-to-real技术迁移到实际系统，但建模误差会显著影响最终性能。
2. 系统建模与控制器设计
2.1 液压执行器动力学建模
液压执行器的力动力学可表示为：
˙fh = h(xp, ˙xp) + g(xp, P)u + gd其中h(xp, ˙xp)表示与活塞位移xp和速度˙xp相关的动力学项，g(xp, P)为压力相关的控制增益矩阵，u为伺服阀输入电流，d代表集总扰动（包括摩擦、泄漏等）。βe表示流体体积弹性模量，Ap为液压缸有效面积，α为面积比。
实际系统中存在两类主要不确定性：
- 参数不确定性：阀增益Kv和βe会随工况变化
- 未建模动态：如非线性摩擦、阀口特性等
2.2 反馈线性化基础控制器
作为RL策略的基础，我们采用反馈线性化(FL)控制器：
u = [˙fr + (Kp+ΔKp)e + (Ki+ΔKi)∫e dt - h]/g其中fr为参考力，e=fr-fh为跟踪误差，Kp/Ki为PI增益。理想情况下，该控制器可将非线性系统转化为线性误差动力学：
˙e = -Kpe - Ki∫e dt然而实际应用中存在三个关键限制：
- 模型不精确导致非线性项不能完全抵消
- 固定增益无法适应不同工作点
- 高增益会引起振荡，低增益导致响应迟缓
3. 安全强化学习框架设计
3.1 基于SAC的增益自适应策略
采用Soft Actor-Critic（SAC）算法实现增益在线调节，其优势在于：
- 最大熵框架提高探索效率
- 适合连续动作空间控制
- 对超参数相对鲁棒
策略网络输出增益调整量[ΔKp, ΔKi]，观测空间包含：
- 系统状态：fh, ˙fh, fl, ˙fl, pa, pb, xp, ˙xp
- 参考信息：fr, ˙fr
- 历史动作：πt-1
奖励函数设计为：
r = -100*e² - 4000*˙e²强惩罚误差变化率可有效抑制振荡。
3.2 收缩度量理论基础
收缩理论通过分析轨迹间的收敛性提供稳定性保证。若存在度量矩阵M(x)使任意两条轨迹距离指数收敛：
∥x(t)-xr(t)∥ ≤ Ke^(-λt)∥x(0)-xr(0)∥则系统称为收缩的。微分形式的收缩条件为：
˙M + M(A+BK) + (A+BK)ᵀM ≤ -2λM其中A=∂f/∂x，B=∂f/∂u为系统雅可比矩阵。
与传统Lyapunov方法相比，收缩理论具有两大优势：
- 适用于轨迹跟踪而不仅是平衡点稳定
- 提供整个收缩区域的全局稳定性保证
3.3 基于QP的安全过滤器设计
将收缩条件转化为QP约束：
min ∥Δu∥ s.t. aΔu ≤ b其中：
a = 2vᵀMB b = -vᵀ(˙M + M(A+BK) + (A+BK)ᵀM + 2λM)vv为投影到力误差方向的向量。该QP问题可在1ms内求解，满足实时性要求。
关键实现细节：
- 使用Barzilai-Borwein梯度投影法加速QP求解
- 采用有限差分法在线计算雅可比矩阵
- 对M(x)进行Cholesky分解保证正定性
4. 关键组件实现
4.1 液压系统神经网络建模
采用MLP网络学习高精度动力学模型：
网络结构：输入层(8) → 隐藏层(32,ReLU) → 隐藏层(32,ReLU) → 输出层(8) 训练数据：随机激励信号下的实际系统响应 损失函数：多步预测误差的RMSE相比解析模型，神经网络模型将预测误差降低两个数量级（RMSE从0.5658降至0.0006）。
4.2 收缩度量学习
度量矩阵M(x)通过另一MLP网络学习：
网络结构：输入层(8) → 隐藏层(64,ReLU) → 隐藏层(64,ReLU) → 输出层(36) 损失函数：L = 100*Lc + 0.001*(∥M∥F + tr(M) - logdet(M))其中Lc为收缩条件损失：
稳定轨迹：ReLU(Mc) 不稳定轨迹：ReLU(-Mc)Mc为收缩条件左侧矩阵的最大特征值。
5. 实验验证与结果分析
5.1 实验平台配置
硬件平台主要组件：
- 执行器：Hoerbiger LB6双作用液压缸
- 伺服阀：Moog G761（响应带宽150Hz）
- 传感器：应变式力传感器（1kHz采样）
- 控制器：dSpace MicroLabBox（1kHz控制频率）
软件架构：
- 底层控制：1kHz实时循环（C代码）
- RL策略：100Hz更新频率（Python）
- 安全过滤：QP求解器（C++）
5.2 性能对比测试
三种控制器在0.5-2Hz正弦信号下的力跟踪RMSE对比（单位：N）：
| 频率(Hz) | 实时RL (I) | 仿真RL (II) | 固定FL (III) |
|---|---|---|---|
| 0.5 | 5.51 | 5.32 | 3.27 |
| 1.0 | 5.95 | 6.76 | 6.31 |
| 1.5 | 8.71 | 10.18 | 9.73 |
| 2.0 | 11.35 | 12.97 | 12.97 |
结果显示：
- 实时RL在所有频段优于仿真RL（除0.5Hz）
- 在中高频段（≥1Hz）实时RL优于固定增益FL
- 低频段固定FL表现最佳（因预调谐增益优化）
5.3 安全性能验证
在随机增益测试中（Kp∈[-40,40], Ki∈[-5,5]）：
- 无过滤器：系统立即失稳
- 有过滤器：保持稳定（λ=0.1）
过滤器干预统计：
- 平均修正量Δu：0.3%最大阀电流
- 收缩条件违反率：从74.75%降至37.50%
6. 工程实践中的经验总结
6.1 参数调优指南
收缩率λ选择：
- 初始建议值：0.1-1.0
- 值越大安全性越高但可能限制学习
- 可随训练进度动态衰减
RL训练参数：
- 策略网络学习率：1e-3
- 初始熵系数：0.005
- 目标熵：-dim(Action)
硬件保护措施：
- 设置软件限幅（压力、力、位置）
- 添加紧急停止硬件回路
- 逐步提高训练幅度
6.2 典型问题排查
高频振荡：
- 检查力传感器安装刚度
- 降低采样频率或添加低通滤波
- 调整奖励函数中˙e²权重
QP求解失败：
- 检查M(x)的正定性
- 降低约束严格程度（增大λ）
- 改用更鲁棒的QP求解器
学习停滞：
- 增加探索噪声
- 检查梯度裁剪范围
- 验证神经网络拟合能力
7. 技术局限性与改进方向
当前方法存在三个主要限制：
高频噪声敏感：
- 原因：度量网络训练数据噪声不足
- 改进：数据增强时加入带宽受限噪声
极端工况稳定性：
- 现象：当Kp>100时可能失稳
- 对策：结合Lyapunov屏障函数
多自由度扩展：
- 挑战：维度灾难导致计算复杂度上升
- 方案：采用结构化度量矩阵近似
实验中发现一个有趣现象：在0.5Hz测试中固定FL控制器表现最优。分析表明这是因为：
- 低频段系统动态主导因素明确
- 预调谐增益已针对该频段优化
- RL需要更多样本学习低频特性
这提示我们在实际应用中可采用混合架构：低频段使用固定控制器，中高频段切换至RL策略。