21、模仿学习与迁移学习及多智能体环境构建

模仿学习与迁移学习及多智能体环境构建

1. 检查点与大脑迁移

检查点是对智能体大脑状态进行快照并保存的方式，能让你在中断训练后继续之前的进度。训练智能体到一个检查点后，可在 Python/Anaconda 窗口中按 Ctrl + C（Mac 系统按 command + C）终止训练。之后可以尝试将保存的大脑应用到另一个学习环境中。

迁移大脑的具体步骤如下：
1. 打开 Unity，导航到 VisualPushBlock 示例场景。
2. 选择 Academy 并启用对大脑的控制。
3. 选择智能体并设置其使用 VisualPushBlockLearning 大脑，确保该大脑与之前运行的 VisualHallwayLearning 大脑配置相同，即视觉观察和向量动作空间匹配。
4. 在文件资源管理器中打开 ML - Agents/ml - agents_b/models/vishall - 0 文件夹，将文件夹和文件名称从 VisualHallwayLearning 更改为 VisualPushBlockLearning。
5. 打开 trainer_config.yaml 文件，确保 VisualHallwayLearning 和 VisualPushBlockLearning 的参数相同：

VisualHallwayLearning: use_recurrent: true sequence_length: 64 num_layers: 1 hidden_units: 128 memory_size: 256 beta: 1