WorldModel_Theory_002_PPT

1) “部分可观测”到底在说什么

在很多真实问题里，环境内部有个真实状态（你看不见），但你能拿到的是一个观测o t o_tot​（传感器/图像/日志）。
观测的关键特征是：它是对状态的部分描述，可能漏信息。

2) 为什么o t o_tot​往往不是 Markov 的

Markov 的意思是：一旦你知道“现在的状态”，历史就可以丢掉，未来只跟现在有关。

但o t o_tot​往往做不到这一点，因为会出现“观测混淆”：

• 可能有两个不同的真实状态x t ≠ x t ′ x_t\neq x'_txt​=xt′​，给出同一个观测o t o_tot​（比如同一张画面/同一组传感器读数）。
• 但它们的未来却不一样：P ( x t + 1 ∣ x t , a t ) P(x_{t+1}\mid x_t,a_t)P(xt+1​∣xt​,at​)和P ( x t + 1 ∣ x t ′ , a t ) P(x_{t+1}\mid x'_t,a_t)P(xt+1​∣xt′​,at​)不同。
• 那么你只看o t o_tot​就没法判断未来，历史里的一些线索（“我刚刚从哪来/做过什么动作”）会改变你对当前真实情况的推断，所以历史不能丢。

你提的“用o t − o t − 1 o_t-o_{t-1}ot​−ot−1​得到速度”就是一个典型：你在用短历史去补齐状态信息。这没错；只是很多环境里需要的不止一阶差分，可能要更长的历史，甚至要记住“看不到但仍然存在的东西”。

3) POMDP 是什么？“把任务写成 POMDP”是什么意思？

POMDP 的核心一句话：

底层世界仍然按 MDP 的 Markov 规律演化，但智能体看不见真实状态，只能通过不完美传感器拿到观测。(homepages.laas.fr)

形式上，POMDP 会多一个“观测模型”（传感器模型），常写成p ( o t ∣ x t ) p(o_t \mid x_t)p(ot​∣xt​)或类似形式。(维基百科)

**“任务”**在 RL 语境里通常就是“这整个决策问题实例”：状态/动作/观测空间、转移规律、奖励、折扣、终止条件等。（比如 CartPole、Atari 某个游戏、某个机器人导航环境。）(Stanford University)
“把任务写成 POMDP”就是承认：我们解决的不是“观测=状态”的完全可观测 MDP，而是“观测不完整”的 POMDP。

4) “用表示模型把观测+动作编码成模型状态s t s_tst​”是什么意思？

Dreamer 这类 world model 会学一个内部状态（latent/model state）s t s_tst​，它的目标不是“复刻观测”，而是：

让s t s_tst​成为一个尽量充分的摘要：用它就能预测未来观测/奖励，并支持做控制。

它通常会有两块（在 Dreamer 论文里可以看到）：

• 表示/后验模型：把当前观测（加上上一隐状态、上一动作）编码进s t s_tst​
• 动力学/先验模型：在隐空间里做一步预测s t + 1 s_{t+1}st+1​只依赖( s t , a t ) (s_t,a_t)(st​,at​)

Dreamer 的世界模型训练里就明确出现了这种“后验 vs 先验”的结构：例如用p ( s t ∣ s t − 1 , a t − 1 , o t ) p(s_t\mid s_{t-1},a_{t-1},o_t)p(st​∣st−1​,at−1​,ot​)和q ( s t ∣ s t − 1 , a t − 1 ) q(s_t\mid s_{t-1},a_{t-1})q(st​∣st−1​,at−1​)（记号可能因论文而异，但意思就是“用观测修正隐状态”和“纯预测隐状态”）。

5) “模型状态要有 Markovian transitions”是什么意思？

这句很关键，也最容易“哇哦”。

它的意思是：在隐空间里，我们希望状态序列s t s_tst​是 Markov 的，也就是：
p ( s t + 1 ∣ s ≤ t , a ≤ t ) ≈ p ( s t + 1 ∣ s t , a t ) p(s_{t+1}\mid s_{\le t}, a_{\le t}) \approx p(s_{t+1}\mid s_t, a_t)p(st+1​∣s≤t​,a≤t​)≈p(st+1​∣st​,at​)

DreamerV2 里甚至直接写了这句：
“In contrast to the actual environment, the latent state sequence is Markovian, so that there is no need for the actor and critic to condition on more than the current model state.”

翻成人话：虽然外部世界对你来说是“需要历史”的（POMDP），但我们用 world model 把历史压进s t s_tst​，让后续决策只看s t s_tst​就够了。

6) Episode、以及“编码 episode 的历史来计算当前模型状态”

• Episode：一次从环境 reset 开始到终止/超时结束的完整轨迹。
• “编码 episode 的历史”就是：在一个 episode 里，你每一步都把o t o_tot​、a t − 1 a_{t-1}at−1​喂给一个递归模型（RNN/RSSM），它会不断更新内部记忆，于是得到s t s_tst​。

Dreamer 的论文里就描述了：用表示模型先看一小段观测，然后在隐空间里只给动作也能往前预测很久（说明历史信息被压进了隐状态）。

7) “在模型状态上定义一个完全可观测的 MDP”怎么做到的？

这句话其实是在说一件经典事：

在 POMDP 里，如果你用历史构造一个信念态/信息态（belief state / agent state），这个“新状态”对智能体来说就是可观测的，并且可以变成 Markov，从而把问题转成一个 MDP 来做。

Dreamer 的s t s_tst​就扮演了这种“agent state”（智能体内部状态）的角色：
RL4AA 的讲义也明确区分了environment state（环境内部状态，不一定可见）和agent state（算法内部用来选动作的状态表示），并列出在部分可观测时可以用“轨迹/信念/循环网络”来构造 agent state。

所以这里的“完全可观测”不是说外部世界突然透明了，而是说：
对智能体自己而言，它确实“看得到”自己的s t s_tst​，于是 actor/critic 可以把s t s_tst​当作 MDP 的 state 来用。

你提到的“教授不理解历史信息，是不是因为马尔可夫假设？”

大概率是的：如果他默认讨论的是已给定 Markov 的环境状态s t s_tst​的 MDP，那么强调“历史信息”会显得多余。
你需要把话术改成这一句（非常关键）：

“我们不是在 Markov state 上额外加记忆；我们是在 POMDP 里用历史推断一个信息态/latent state，让它在隐空间里尽量恢复 Markov，然后才用 Bellman/actor-critic。”

DreamerV2 那句“latent state sequence is Markovian，所以 actor/critic 不需要看更多历史”就是最好的对齐钉子。

你想先把哪个点“讲到完全没疑问”？（回一个编号就行）
1）给你一个具体反例：同一个o t o_tot​但未来不同，所以o t o_tot​不是 Markov
2）把 Dreamer 的s t s_tst​写成一句最清楚的递推：s t = f ( s t − 1 , a t − 1 , o t ) s_t = f(s_{t-1}, a_{t-1}, o_t)st​=f(st−1​,at−1​,ot​)，然后解释它为什么像 belief state