也算是组里的传统了，参加一下腾讯开悟的智能体比赛，大概忙活了半个月，成绩有但不多。
很遗憾没能冲出重围，但还是学习到了不少东西，习惯性记录一下，脸滚键盘说不上什么顺序逻辑。
0.赛题介绍
控制一个智能体，在地图中进行避障、躲避敌人、到达指定目标点的任务。
很经典的强化学习算法环境，作为从理论新手到工程实践的过渡非常合适。
1.环境介绍
不得不说，真的非常操蛋。
腾讯官方提供了封装好的训练与开发环境，是基于linux的。但是，它只能在windows的linux虚拟机内部署，或者macOS，原生的ubuntu反而不能部署。真的是非常的操蛋啊啊啊啊啊啊啊
部署好环境，训练也是非常的慢，真的太慢了。。。
后来分析，主要消耗时间的部分是数据交互，就是内存硬盘cpu gpu之间的通信。
最后的解决办法是租了台mac mini，利用m系列芯片的统一内存与高速硬盘优势。。。
那训练确实是相当的快了，比win快了有10倍，加速迭代那就好说多了。
2.算法介绍
强化学习嘛，ppo。官方已经提供了一个ppo的基础算法，经验池、mask什么的都给好了，这一方面倒是不太用操心了，只需要修改具体实现就行了。
官方环境会返回很多信息，什么地图障碍啦充电站位置啦一大堆
调用就行
强化学习嘛，就要最主要的就是那个可爱的奖励函数了
通过之前一点小小的实践，我大概明白了，奖励不能太稀疏，不然会很难探索。还要有一定惩罚，惩罚要小一些连续一些。
再结合一些实践试错，最终确认了就是：稀疏奖励（没那么稀疏）+稠密惩罚
具体来说，几项奖励分别是：
达成目标给一个稍大的奖励
靠近目标一定范围给一个小的、离目标距离越近越大的奖励
每一步都给一个小的惩罚
撞墙或者陷入死点给一个小的惩罚
大概就是这样，但是具体的实现还有不少坑，这里就不赘述了
在开始训练之前，需要的是修改网络结构
官方提供的最简单版本网络是没有空间感知能力的
于是有两个方案，一个是加入卷积，让空间信息变得显式
另外一个就是直接用mlp，把地图信息压平，让网络自己学习
最终实践，为了加速网络训练，我选用了mlp
最终来看效果不算差
那就开始训练吧，往死里跑
训练也有不少门道，也随便讲讲吧
首先就是课程学习。在这种轮数很多的训练里，初期和末期的目标不同
最首要的就是要改变学习率，一开始要加大一些探索，后来要保持稳定。
还有就是，一开始，要让agent学会稳定得分，再往后微调让模型变聪明
这就需要微调一下奖励函数的各个部分，这是个技术活，需要多尝试。
最后，就是为了达成更好的目标，我加入了一些先验条件。
比如，当agent陷入deadzone时，用A*接管3～5步，脱困后再继续使用模型
当agent靠近敌人时，直接从动作空间删去这个靠近敌人的动作，不纳入训练等等
后续证明，这样的效果也还算可以
那差不多就到这了，