sparse4d记录

instance bank介绍

num_anchor:总anchor个数，包括历史的
num_cur:当前帧预测的query个数
num_temp:历史保存的query个数

num_anchor = num_cur + num_temp

get:
forward时在所有decoder layer推理前调用。
if 有历史信息：
历史结果egopose变换到当前帧，并更新self.cached_anchor . 类似prepare的作用, cached_anchor应该历史保存的num_temp个
else if 没有历史信息：
reset
update：
第一层refine后调用，将当前帧预测的query取top num_cur 个和历史num_temp个拼接。返回拼接后的 num_anchor 个query,不更新self.cached_anchor

cache:
所有decoder layer结束后调用，取topk个query保存下来,更新 self.cached_anchor

def forward:
query = instancebanck.get()
for i in range(num_decoder_layer):
query = decoder_layer(query) # 从当前帧预测出num_anchor个query
if i == 0:
query = instancebank.update(query)
isinstancebank.cache(query) # 保存num_temp个query到instancebank中

[2:] 截断后（去掉首个 gnn, norm）：
[deformable, ffn, norm, refine,
temp_gnn, gnn, norm, deformable, ffn, norm, refine, (×5)]

完整调用流程图：

forward() 开始
│
├─ instance_bank.get()
│ 返回:
│ instance_feature [B, num_anchor, C] ← 可学习参数，不含历史
│ anchor [B, num_anchor, D]
│ temp_instance_feature = cached_feature ← 上帧缓存，可能为 None
│ temp_anchor = cached_anchor
│ time_interval
│
├─ 拼接 dn_anchor → anchor / instance_feature 变为 [B, num_anchor+num_dn, *]
│
│ ════════ 单帧 Decoder（第0轮，只有后半段） ════════
│
├─ [op: deformable] 图像特征采样，更新 instance_feature
├─ [op: ffn] 前馈网络
├─ [op: norm] Layer Norm
├─ [op: refine] 预测 anchor/cls/quality
│ prediction=[anchor_0], classification=[cls_0]
│ len(prediction)==1 == num_single_frame_decoder ← 触发！
│ │
│ └─ instance_bank.update(instance_feature, anchor, cls)
│ ┌─ 若 cached_feature 为 None（第一帧）→ 直接返回，不变
│ └─ 否则：
│ topk 选出当前帧 top-(num_anchor-num_temp) 个实例
│ 拼接 [cached_feature(历史) | selected_feature(当前)]
│ instance_feature 更新为 [历史|当前] 混合，shape 仍 [B, num_anchor, C]
│
│ ════════ 时序 Decoder ×5 ════════
│
│ ┌─ [op: temp_gnn] ← 跨帧 cross-attention
│ │ query = instance_feature（已含历史）
│ │ key/value = temp_instance_feature（纯历史 cached_feature）
│ │ → 融合时序信息，更新 instance_feature
│ │
│ ├─ [op: gnn] 帧内 self-attention
│ ├─ [op: norm]
│ ├─ [op: deformable] 图像特征采样
│ ├─ [op: ffn]
│ ├─ [op: norm]
│ └─ [op: refine] 预测 anchor/cls/quality，追加到 prediction/classification
│ （×5 重复）
│
├─ instance_bank.cache(instance_feature, anchor, cls)
│ topk 选 num_temp_instances 个高置信度实例
│ 存入 cached_feature / cached_anchor ← 供下一帧 temp_gnn 使用
│
└─ [仅推理] instance_bank.get_instance_id(cls, anchor)
分配/继承跨帧 instance ID，用于追踪

关键设计点总结：

┌───────────────────┬────────────────────────────────────────────────────────┐
│ 阶段 │ instance_feature 内容 │
├───────────────────┼────────────────────────────────────────────────────────┤
│ get() 之后 │ 纯可学习参数，无历史 │
├───────────────────┼────────────────────────────────────────────────────────┤
│ 单帧 decoder 期间 │ 当前帧图像特征驱动 │
├───────────────────┼────────────────────────────────────────────────────────┤
│ update() 之后 │ [:num_temp_instances] = 历史，[num_temp:] = 当前 top-N │
├───────────────────┼────────────────────────────────────────────────────────┤