在WSL2的Ubuntu22.04上，用VSCode一站式搞定强化学习环境
1. 为什么选择WSL2+Ubuntu22.04+VSCode组合？
如果你是个Windows用户但又需要Linux环境来跑强化学习实验，这个组合简直就是为你量身定制的。我去年接手一个机器人路径规划项目时，尝试过双系统、虚拟机等各种方案，最后发现WSL2才是真正的生产力神器。
WSL2和普通虚拟机最大的区别在于它直接运行在Windows内核上，性能损耗几乎可以忽略不计。实测在同样配置的机器上，WSL2运行PyTorch训练比VMware快出30%以上。Ubuntu22.04作为长期支持版本，软件生态稳定，而VSCode的远程开发功能让你能在Windows下获得接近原生Linux的开发体验。
最近帮学弟配置环境时发现，用这个方案从零开始到运行第一个强化学习demo，熟练的话20分钟就能搞定。下面我会手把手带你走完全流程，包括几个我踩过坑的细节。
2. 基础环境搭建
2.1 WSL2安装避坑指南
很多人第一步就会遇到问题。首先确保你的Windows版本是1903及以上，建议直接更新到最新版。我遇到过最典型的问题是安装后无法启动，这通常是因为没开启虚拟化：
- 重启电脑进入BIOS（各品牌按键不同，一般是F2/DEL）
- 找到Intel VT-x或AMD-V选项并启用
- 在Windows功能中勾选"虚拟机平台"（而不仅是WSL）
安装命令其实有更简单的写法：
wsl --install -d Ubuntu-22.04这个命令会自动完成所有准备工作，包括启用必要组件和下载系统镜像。
安装完成后建议立即执行：
wsl --update wsl --set-default-version 2这能确保你使用的是WSL2而不是旧版。我遇到过有人训练时性能异常，排查半天发现还在用WSL1。
2.2 Ubuntu22.04初始配置
首次启动时会让你创建用户，这里有个小技巧：先创建普通用户，完成基础配置后再切换root。因为有些软件（如Docker）对root用户有限制。
换源是必须操作，但别再用vim手动改了，现在有更简单的方式：
sudo sed -i "s@http://.*archive.ubuntu.com@https://mirrors.tuna.tsinghua.edu.cn@g" /etc/apt/sources.list sudo sed -i "s@http://.*security.ubuntu.com@https://mirrors.tuna.tsinghua.edu.cn@g" /etc/apt/sources.list这两行命令会自动替换所有官方源为清华镜像。
3. 开发环境配置
3.1 Python环境搭建的现代方案
Ubuntu22.04默认带的是Python3.10，但强化学习项目往往需要更灵活的版本管理。我强烈推荐使用pyenv：
curl https://pyenv.run | bash echo 'export PATH="$HOME/.pyenv/bin:$PATH"' >> ~/.bashrc echo 'eval "$(pyenv init -)"' >> ~/.bashrc source ~/.bashrc安装后可以轻松切换Python版本：
pyenv install 3.9.13 pyenv global 3.9.13虚拟环境也建议使用python自带的venv：
python -m venv ~/rl_env source ~/rl_env/bin/activate这样的环境隔离比直接安装到系统更干净。
3.2 VSCode连接WSL的进阶技巧
安装Remote-WSL插件后，有个隐藏功能很实用：在WSL终端输入
code .会自动在Windows端启动VSCode并连接到当前目录。
但更高效的做法是创建专用工作区：
- 在WSL中建立项目目录（如~/rl_projects）
- 用VSCode打开该目录
- 点击"文件"→"将工作区另存为"保存为rl.code-workspace
这样下次可以直接双击工作区文件，自动连接WSL并加载所有配置。
4. 强化学习环境实战
4.1 关键库安装的注意事项
安装PyTorch时很多人直接pip install torch，这可能会下载CPU版本。正确的姿势是：
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118注意最后的cu118表示CUDA11.8，要和你主机显卡驱动匹配。
Gym库现在推荐安装新版本：
pip install "gymnasium[all]"这个版本包含了Box2D等所有依赖，避免经典控制环境跑不起来的问题。
4.2 经典小车案例调试
这里以倒立摆(CartPole)为例，创建一个完整的训练脚本：
import gymnasium as gym from stable_baselines3 import PPO env = gym.make("CartPole-v1") model = PPO("MlpPolicy", env, verbose=1) model.learn(total_timesteps=10000) obs, _ = env.reset() for _ in range(1000): action, _ = model.predict(obs) obs, _, done, _, _ = env.step(action) if done: obs, _ = env.reset()保存为train.py后，在VSCode中按F5可以直接调试。我建议在launch.json中添加：
{ "version": "0.2.0", "configurations": [ { "name": "Python: Current File", "type": "python", "request": "launch", "program": "${file}", "console": "integratedTerminal", "justMyCode": false } ] }这样可以在调试时查看完整的变量信息。
5. 性能优化与开发技巧
5.1 GPU加速配置
要让WSL2能用上显卡，需要额外几步：
- 在Windows安装对应版本的CUDA驱动
- WSL内安装CUDA Toolkit：
wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-keyring_1.1-1_all.deb sudo dpkg -i cuda-keyring_1.1-1_all.deb sudo apt update sudo apt install cuda-toolkit-12-3- 验证是否成功：
nvidia-smi5.2 VSCode高效开发配置
几个必装的扩展：
- Python：官方支持
- Jupyter：方便写实验笔记
- Docker：如果需要容器化
- GitLens：代码版本管理
我的快捷键习惯：
- Ctrl+`：快速切换终端
- Ctrl+P：文件跳转
- F12：转到定义
- Alt+Z：自动换行
对于大型项目，建议在.vscode/settings.json中添加：
{ "python.analysis.typeCheckingMode": "basic", "python.linting.pylintEnabled": true, "editor.formatOnSave": true }6. 常见问题解决方案
6.1 图形界面显示问题
如果遇到Matplotlib无法显示图像，可以这样解决：
import matplotlib matplotlib.use('Agg') # 非交互式模式 import matplotlib.pyplot as plt plt.plot([1,2,3]) plt.savefig('output.png') # 保存到文件或者安装X11转发：
- Windows端安装VcXsrv
- WSL中设置：
export DISPLAY=$(awk '/nameserver / {print $2}' /etc/resolv.conf):06.2 文件系统性能优化
WSL2的磁盘IO在Windows目录下较慢，建议：
- 将项目放在WSL原生文件系统（如~/projects）
- 或者在/etc/wsl.conf添加：
[automount] options = "metadata,umask=22,fmask=11"7. 扩展应用场景
这套环境其实非常适合：
- 课程实验（如Berkeley的CS285）
- 论文复现（大多数顶会代码都基于Linux）
- 算法原型开发
我最近用它跑通了DeepMind的AlphaZero简化版，整个过程比纯Windows环境顺畅很多。特别是当需要用到多进程时，WSL2的表现比Windows原生好太多。