ppo 找出口模型 训练 笔记 26/1/13

cnn模型大小我给他控制在训练耗时30s左右（4060ti）

动作空间6个：4个移动2个转头，因为一开始都要跑一遍，动作太多需要跑更多步才能吃到正反馈

我现在设置是60步一episode，5 episode训练一次

转头70度左右，前后移动控制在4s，时间模型可以调，给了模型位移程度的控制，时间设置这么长也是为了能像无头苍蝇一样先把环境用脚完全跑一遍

第3个episode就已经跑出来正反馈了（距离门很近）

这个模型我没想到的是，它训练出来，是用屁股走路的，后退当前进走到门旁边

奖励是门的面积/10000，门越大奖励越高，面积大于30w就给大奖励

早上用小碎步是能收敛的这种奖励，越训练得分越多，早上哪个架构大一点训练2分钟

yolo我还得重新训练一下近距离的情况，遇到了贴着门太大yolo没识别出来的情况

可能就是因为这样模型收敛不了