Instruct-IPT：多任务图像恢复（去雨/去雾/去模糊）
文章目录
- Instruct-IPT：多任务图像恢复（去雨/去雾/去模糊）
- 一、任务
- 二、环境
- 三、模型
- 3.1 权重调制层
- 3.2 完整 IPT Backbone
- 四、训练
- 五、推理
- 六、结果
- All-in-One vs Single-Task
- 七、消融
- 八、调试
- 九、总结
- 代码链接与详细流程
购买即可解锁1000+YOLO优化文章，并且还有海量深度学习复现项目，价格仅需两杯奶茶的钱，每日更新
Instruct-IPT：多任务图像恢复（去雨/去雾/去模糊）
一、任务
输入: 退化图像 I_d × N_d (雨/雾/模糊/噪) ↓ Prompt 文本: "去除雾气恢复细节" ↓ Instruct-IPT ├── Image Encoder: Swin-B (H/4, H/8, H/16) ├── Text Encoder: CLIP (77 tokens, 512-d) ├── Cross-Attention Fusion: │ └── Q=image, K=V=text → 任务条件特征 ├── Transformer IPT Backbone × 12: │ ├── Weight Modulation: 任务特定偏差 ΔW │ ├── 低秩分解: ΔW = A × B (r=16) │ └── 共享权重 W₀ + ΔW → 任务适配 └── Decoder: Conv 3×3 → 3 通道 RGB ↓ 输出: 恢复图像 I_c (H×W×3, 0~1)| 退化类型 | 输入 | 输出 | 评估指标 |
|---|