深度强化学习驱动的混合RIS辅助ISAC系统波束成形设计

深度强化学习驱动的混合RIS辅助ISAC系统波束成形设计

摘要

随着6G无线通信的发展，集成感知与通信（Integrated Sensing and Communication, ISAC）技术被视为关键使能技术之一，能够在共享频谱和硬件资源的同时实现通信与感知功能的深度融合。然而，复杂的电磁环境和多用户干扰成为制约系统性能的主要瓶颈。可重构智能表面（Reconfigurable Intelligent Surface, RIS）作为一种新兴技术，能够通过调控电磁波传播环境显著提升系统容量和覆盖范围。本文聚焦混合RIS辅助的ISAC系统，其中混合RIS同时包含无源反射单元和有源放大单元，以克服传统无源RIS的“双重衰落”问题。针对波束成形设计这一非凸多目标优化问题，本文提出一种基于深度强化学习（Deep Reinforcement Learning, DRL）的智能优化框架，利用软演员-评论家（Soft Actor-Critic, SAC）算法在高维连续动作空间中高效学习最优波束成形策略。本文首先建立混合RIS辅助ISAC系统的数学模型，定义通信速率与感知信噪比的联合优化目标，然后详细阐述SAC算法的状态、动作、奖励设计，给出完整的Python实现代码，并基于仿真结果验证所提算法的有效性和优越性。

关键词：集成感知与通信；可重构智能表面；波束成形；深度强化学习；软演员-评论家

1. 引言

1.1 研究背景与意义

第六代移动通信（6G）网络预计将提供超越传统通信的全新服