在学习了一段时间基础之后，也就想进行一些工程实践
之前一直在倒立摆这个最简单的环境中进行学习和实践
有一说一是有点太简单了
上学期还在flappy bird环境中实现了一下简单的dqn和策略梯度
这不，马上要做个项目，于是就想在稍微复杂一点的环境里实现一下强化学习，顺便试试看ppo啥的效果
于是，想起了寒假整了老半天的小项目——经典游戏2048
那就按照我的实践步骤一点一点介绍吧
0.环境准备
我想弄2048的原因之一就是，Flappy_Bird和CatePole环境都在gym这个集成环境中封装好了
我想自己定义一下环境返回的奖励值（虽说实在是没啥必要吧，但是还是想自己实践一下）
于是乎，在github上找了一个简单的2048实践（对不起当时忘了star，找不到了）
它定义了简单的环境和奖励函数
就在这个环境里上dqn了
但是当时的效果并不好，就搁置了
后来就自己（用ai），用pygame库实现了一个小环境，添加了一些信息和接口。
返回信息主要是
- 最大块数字
- 空格数量
- 总得分
- 是否结束
（好吧其实跟gym返回的没啥区别）
然后就开整吧
1.强化学习改造
这部分分了三步，我最开始的想法是，先在最简单的dqn中实现一个看起来收敛的东西
然后再改策略梯度，再改ppo
那就改环境吧，把接口什么的改一改，超参数改一改
最主要的还是奖励函数和网络结构
不改不知道，一改吓一跳
网络结构这一块，首先把输入改为16个头
我把棋盘展平为一个1维向量，然后塞进网络中
接下来是两个全连接层
这一块问题不是很大
奖励函数这一块真是头大
最一开始，我觉得很简单，就是：每一步最大块取个2log，空格数乘个小系数，总得分乘一个小系数，加在一起
之后，每一局游戏把每一步的得分加在一起，得到一局的总奖励
然后就练吧，这能不收敛么
接下来吧，dqn的大方差，还有奖励函数不照气
导致loss和奖励开始极大震荡，没几轮就震荡到了几万，根本受不了
吸取了一些经验之后，发现是单步奖励太大，于是对单步奖励进行了一个clip，约束到2
还是不收敛
接下来是一个大改（在ai的帮助下）
最终的单步奖励改成了：
合并奖励：总得分，取一个log
最大奖励：上一次出现的最大块与本轮最大快做减法并取log