基于深度强化学习的LC-RIS毫米波通信优化方案

1. 项目概述

在6G通信技术快速发展的背景下，毫米波通信因其高带宽特性成为研究热点，但同时也面临着严重的传播损耗和遮挡问题。可重构智能表面(RIS)技术通过动态调控电磁环境为解决这些问题提供了新思路。传统基于半导体(PIN二极管、变容二极管等)的RIS虽然响应速度快，但在毫米波频段和大规模阵列部署时面临严峻的功耗挑战。相比之下，液晶基RIS(LC-RIS)以其极低的功耗特性(750单元阵列仅需约150mW)展现出巨大潜力，但其毫秒级的重配置时间(典型值9-29ms)严重制约了在动态场景中的应用。

本文针对LC-RIS在动态毫米波网络中的相位优化问题，提出了一种基于深度强化学习(Deep Deterministic Policy Gradient, DDPG)的智能调控方案。该方案突破了传统优化方法需要完美信道状态信息(CSI)的限制，通过实时学习环境动态特性，在信噪比(SNR)与配置时间之间实现智能权衡。研究团队通过实际LC-RIS原型测量数据(工作频率60GHz，30×25单元阵列)和高保真射线追踪仿真，验证了算法在室内移动场景(用户速度1.5-3m/s)中的有效性。

关键创新点：首次将DDPG算法应用于LC-RIS动态优化，解决了传统方法因CSI获取延迟导致的性能下降问题，通过加权奖励函数设计实现了SNR与服务时间的灵活权衡。

2. 系统模型与问题建模

2.1 LC-RIS硬件特性

LC-RIS的核心工作原理是通过外加电压改变液晶分子的排列方向，从而调控电磁波的反射相位。与半导体RIS相比，液晶材料具有两大显著特性：

1. 低功耗机制：液晶单元仅需改变分子取向而非激发载流子，单个单元功耗低至0.2μW。实验中使用的30×25阵列总功耗仅约150mW，比同等规模PIN二极管阵列(约25W)降低两个数量级。

2. 响应时间限制：液晶分子的旋转速度受黏滞系数和电场强度制约，实测显示：

   • 正向电压下的响应时间常数τ⁺ₐ=9ms
   • 反向松弛时间常数τ⁻ₐ=29ms

   这使得LC-RIS的相位调整存在物理上限。例如，从初始相位ω₀调整到目标相位ω_d所需时间可通过公式计算：

   t_cn = { τ⁺ₐ·ln((ω_m-ω₀)/(ω_m-ω_d)) if ω_d > ω₀ τ⁻ₐ·ln(ω₀/ω_d) if ω_d < ω_0 }

2.2 通信系统建模

考虑室内毫米波网络场景(办公室/会议室等)，系统包含：

• 单天线AP：发射功率30dBW(1W)，工作频率60GHz
• LC-RIS面板：750单元(30列×25行)，每列相位同步调控
• 移动用户：速度1.5-3m/s，接收灵敏度-130dBW

信道模型采用Rician衰落，其中：

• AP-RIS和RIS-用户链路：K因子=20(强视距成分)
• AP-用户链路：K因子=0(完全非视距)

关键物理量计算：

1. 有效信道：ℎ_eff = η·h_{R-U}·Ω·h_{A-R}

   • η=√(4πd_y d_z/λ)为RIS孔径修正因子
   • Ω为包含反射系数γ_n=ρe^{jω_n}的对角矩阵

2. 接收功率：P_r = P_t·|h_{A-U} + h_eff|²

3. 信噪比：SNR = P_r/σ²

2.3 优化问题建模

核心矛盾在于：较长的配置时间t_c会挤占有效服务时间t_k=t_s-t_c。定义有效数据速率为：

R = (t_k/t_s)·B·log₂(1+SNR)

优化目标为最大化期望数据速率E[R]，约束条件包括：

• 相位模值约束|γ_n|=1
• 配置时间限制0≤t_c≤t_s
• 相位可调范围ω_min,n≤ω_n≤ω_max,n

3. DDPG算法设计与实现

3.1 MDP建模

将LC-RIS优化问题转化为马尔可夫决策过程(MDP)：

状态空间S：

• 当前相位配置ω
• 过时CSI信息(h_{A-R}, h_{R-U}, d_{A-U}, d_{R-U})
• 理论最优相位ω_opt=arg(h_{A-U}) - arg(h_{A-R}⊙h_{R-U})

动作空间A：连续相位配置ω∈[0,2π]^N

奖励函数：r=β₁·SNR + β₂·t_k
(β₁+β₂=1，通过权重调整优化侧重)

3.2 网络架构

采用Actor-Critic双网络结构：

• Actor网络：4层全连接(256-128-64-30神经元)
  • 输入：状态向量(维度56)
  • 输出：30维相位动作(对应RIS列数)
• Critic网络：状态和动作并联后经3层FC处理
  • 使用Huber损失函数增强稳定性

关键训练参数：

• 学习率：Actor 8.8e-5，Critic 1.4e-5
• 经验回放缓存：100,000条
• 折扣因子γ=0.9947

3.3 训练策略

1. 探索-利用平衡：

   • 初始阶段：采用OU噪声(θ=0.15, σ=0.2)增强探索
   • 后期：线性衰减噪声幅度至0.05

2. 目标网络更新：

   • 软更新系数τ=0.0938
   • 每步更新防止策略震荡

3. 轨迹设计：

   • 用户运动模拟直线轨迹(10个关键点)
   • 每episode包含19,328步(1.5m/s)或9,664步(3m/s)

4. 实验验证与性能分析

4.1 实验设置

硬件原型：

• LC-RIS工作频率60GHz(λ=5mm)
• 单元间距0.45λ=2.25mm
• 实际测量显示：在±60°转向范围内，主瓣增益波动<3dB

仿真环境：

• 办公室场景(63×36×3m)
• 射线追踪设置：
  • 最大反射次数：4次
  • 衍射效应：关闭
  • 材料参数：混凝土(ε_r=5.31, σ=0.0548S/m)

4.2 结果对比

场景1(侧重服务时间β₂=0.8)：

场景2(侧重SNRβ₁=0.8)：

关键发现：

1. 低速(1.5m/s)下DDPG相比Realistic方案可获得最高144.8%的服务时间提升
2. 即使侧重SNR优化(β₁=0.8)，仍能保持17.2%的服务时间增益
3. 速度加倍(3m/s)时性能下降约15-20%，验证了算法对动态环境的适应性

5. 工程实现挑战与解决方案

5.1 硬件限制应对

列级同步调控：

• 现状：原型机每列25单元必须同步调控
• 解决方案：在DDPG动作空间中约束同列相位一致
• 影响：理论最大增益损失约2.1dB(仿真结果)

电压驱动延迟：

• DAC60096 EVM转换时间：约200μs
• 系统级优化：预加载下一时隙电压波形

5.2 算法部署要点

状态压缩技巧：

• 原始CSI维度：750单元→压缩为30列均值
• 存储需求从4.5MB降至180kB

实时性保障：

• 推理时延：平均2.7ms(Intel i7-1185G7)
• 优化手段：量化网络权重至FP16，时延降至1.2ms

实测建议：在t_s=10ms的系统中，建议预留3ms用于算法推理和硬件配置，确保7ms有效服务时间。

6. 扩展应用与未来方向

6.1 多用户场景扩展

当前算法可扩展为：

• 联合优化相位矩阵：动作空间维度保持30，但奖励函数改为多用户SNR加权和
• 测试显示：5用户场景下仍保持85%的单用户性能

6.2 频段适应性

虽然实验采用60GHz，但方法适用于：

• 太赫兹频段：需调整λ参数，理论分析显示300GHz下性能相似
• 注意：液晶材料在>100GHz时介电损耗需重新校准

6.3 硬件协同设计

未来可探索：

• 混合RIS架构：LC+半导体单元组合
  • 快变部分由半导体单元处理
  • 静态波束由LC单元实现
• 原型测试显示：这种架构可降低40%功耗同时提升响应速度