博客地址：https://www.cnblogs.com/zylyehuo/
参考链接：从DreamerV1到DreamerV3｜Model-based RL的学习之路
DreamerV2 的主要贡献
DreamerV2 在 DreamerV1 上的改动
encode 方式
在将一张图像 encode 为一个随机变量的时候，DreamerV1 和 PlaNet 都是 encode 成一个 30 维度的随机变量，这个随机变量可能是从高斯分布中 sample 出来的。
DreamerV2 中就不是使用高斯分布，它生成了 32 个类，每个类 one-hot 成一个向量，把图像离散成了网格。【DreamerV3 也延续了这个 trick】
原因是，在 VAE 中使用高斯分布去采用随机变量，不能直接梯度反向传播，要使用重参数化，会导致性能变差。
用这种分类的方式去反向传播更加直接。
假设当前的模型是一个高斯分布，要预测的下一个状态可能会有很多种分布（很多随机性），可能不是单峰的，可能是多峰的，这时用高斯分布很难去拟合这种分布。
但是当使用分类的方式，就能更好地去捕捉这种随机性。
在 DreamerV1 的基础上，就改动了一处地方。【将原本可能是一个向量的输出，变成了一个矩阵的输出】
具体可以参考链接：《Learning Latent Dynamics for Planning from Pixels》随记
KL 散度中使用了 trick
到底想用先验逼近后验，还是后验逼近先验
Loss 的选择
在 DreamerV3 提到：当 action space 是离散的情况下，使用 reinforce 这种方式训练效果比较好；当 action space 是连续的控制情况下，使用直接梯度反向传播（dynamics backprop）的方式训练效果比较好。
其他尝试
