告别穿模与漂移！南洋理工团队提出HMR新框架：用视觉大模型对齐人体姿态
点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达
本文一作投稿发布 | 来源：3D视觉工坊
「3D视觉从入门到精通」知识星球(点开有惊喜) ！星球内有20多门3D视觉系统课程、300+场顶会讲解、顶会论文最新解读、海量3D视觉行业源码、项目承接、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎加入！
单靠一张RGB照片还原精准的3D人体模型，究竟有多难？
虽然基于扩散模型（Diffusion Models）的人体姿态估计方法让生成结果变得多样化，但“幻觉”也随之而来：人体四肢莫名穿透身体、脚底悬空、或者在复杂遮挡下姿态完全走样。
针对这些顽疾，来自南洋理工大学(NTU)、香港科技大学(广州)、商汤科技以及A * STAR的研究团队提出了一种全新方案：VLM-Guided Group Preference Alignment。
他们开发了一个具备“双重记忆”和“自我反思”能力的VLM裁判代理，并提出了一套全新的群体偏好对齐（Group Preference Alignment）框架。该框架灵感源自大语言模型中爆火的 GRPO 技术，并将其首次成功适配到 3D 人体网格恢复（HMR）领域，显著提升了模型在野外复杂场景下的表现。
目前，该论文已被 CVPR 2026 接收。
01 痛点：为什么扩散模型也会“飘”？
在单目HMR任务中，由于深度信息的缺失，同一个2D观察在数学上可能对应无数种3D姿态。
现有的扩散模型虽然能生成多个候选结果来覆盖这种不确定性，但由于缺乏显式的3D几何约束，生成的模型往往“中看不中用”：
物理不可行：四肢比例失调，或者手脚穿过身体（穿模）。
深度歧义：在侧面视角下，人体与背景或自身的深度关系完全错乱。
图像漂移：虽然3D姿态看上去还行，但投影回2D画面时与原图人像无法重合。
传统的优化方法或判别网络（Scorer）往往只看2D特征，容易被遮挡和杂乱背景误导。那么，能不能请一位懂几何、懂语义、还懂物理常识的“老师”来指点模型呢？
02 创新一：给VLM裁判装上“双重记忆”与“反思脑”
研究团队发现，多模态大模型（VLM）本身就蕴含了丰富的人体语义和空间逻辑。但直接让它打分，往往会遇到“标准不统一”、“打分随性”的问题。 为了让裁判更专业、更稳定，研究人员为VLM裁判构建了双重记忆机制：
规则记忆（Rule Memory）：这相当于一本“避坑指南”，存储了如“肢体长度比例一致性”、“关节极限角度”、“深度一致性”等硬性物理准则。
原型记忆（Prototype Memory）：这相当于一套“错题本”和“范文集”，存储了过去判断过的典型成功案例和失败反面教材。
更核心的设计在于自我反思（Self-reflection）能力。在探索阶段，裁判会自动对比预测结果与真实值（GT）的差异，如果发现自己判断失误，它会通过反思自主总结并提炼出新的判断规则。 有了这套机制，裁判在评价野外复杂场景时，能表现出更好的逻辑一致性。
03 创新二：HMR领域的“GRPO”实验
受 DeepSeek 等模型中 GRPO 算法的启发，团队提出了专为人体重建设计的群体偏好对齐框架。 这种方法不再局限于“两两比较（DPO）”，因为在HMR这种多假设生成任务中， pairwise 比较难以捕捉全方位的最优方向。该框架针对同一张图生成的一组（Group）候选预测进行整体评估：
群体“内卷”：通过 VLM 裁判打分并转化为相对优势（Advantages），精准识别最自然的姿态。
无标签训练：该过程完全不需要 3D 真值标签，模型可以直接利用海量无标注的野外照片进行微调，打破了实验室数据集的局限。
04 效果实测：遮挡再重，逻辑不乱
实验结果显示，该方法在 3DPW 和 Human3.6M 等权威数据集上均刷新了记录。特别是在野外场景的 3DPW 测试集上，其 MPJPE 误差相比之前的生成式 SOTA 模型降低了 8.2%。
看这几个细节：
在极端遮挡下（如冲浪、打电话）：即便手臂被挡住大半，新模型依然能推导出符合生理逻辑的3D姿态。
在复杂交互中：有效消除了人体自有的“穿模”现象，让模型在侧面观察下也显自然。
05 总结与展望：从人体到万物，一种通用的空间逻辑对齐范式
这项研究证明了：大模型裁判+群体偏好对齐，在极度依赖空间逻辑的 3D 感知领域潜力巨大。这种架构更展示了一种通用的视觉对齐范式，其应用场景远不止于HMR：
3D 场景重建：纠正家具重建中的畸变或悬空。
机器人交互：引导机器人学习更符合生物力学的交互动作。
AIGC 物理对齐：解决视频生成中的形体崩溃和物理违和感。
将视觉常识与生成模型的灵活性通过偏好学习相结合，是通往物理真实感 AI 的关键一步。
当然，这一方法仍有其局限性，由于提出的群体偏好对齐框架在偏好数据集构造阶段涉及多样本生成与频繁的 VLM 调用，其计算成本相对较高，且对齐效果上限仍受限于底层 VLM 对 3D 几何的理解深度。未来，随着多模态大模型能力的进一步增强，这种“以智治智”的范式进化，或许将彻底改变 AI 生成与理解 3D 物理世界的方式。
团队介绍：该论文的作者来自南洋理工大学S-Lab、香港科技大学（广州）、商汤科技及 A* STAR 研究所。
发表：CVPR 2026
论文链接：https://arxiv.org/abs/2602.19180.
本文仅做学术分享，如有侵权，请联系删文。
3D视觉方向论文辅导来啦！可辅导SCI期刊、CCF会议、本硕博毕设、核心期刊等。
添加微信：cv3d001，备注：姓名+方向+单位，邀请入群。