从 RGB 视频到 3D 人体模型：EasyMocap 零基础人体动作捕捉完整实战指南

从 RGB 视频到 3D 人体模型：EasyMocap 零基础人体动作捕捉完整实战指南

【免费下载链接】EasyMocapMake human motion capture easier.项目地址: https://gitcode.com/gh_mirrors/ea/EasyMocap

EasyMocap是由浙江大学三维视觉团队开源的无标记人体动作捕捉工具箱，只需普通 RGB 视频（多视角相机、手机甚至互联网视频）就能输出 SMPL/SMPL-X 三维人体参数与网格。这篇文章会从"传统动捕为什么贵"讲起，带你走完安装、标定、跑通第一条动捕数据的全过程，读完你就能上手第一次人体三维重建。

一、先讲个扎心的场景：动捕为什么这么"贵"

想象你是一位独立动画师、体育数据分析师，或者只是想给游戏角色录一段自己的动作。传统光学动捕是这样工作的：几十台红外相机环绕场地，演员身穿贴满反光 Markers 的动捕服，设备动辄几十万起步，布景、调试、后期清点 Markers 更是耗时数天。

有没有一种方案，用普通的相机甚至手机，就能完成三维人体动作捕捉？

EasyMocap 的答案很干脆：可以。它的核心卖点正是项目标语——Make human motion capture easier。它采用**无标记（Markerless）**路线：不需要动捕服、不需要红外设备，相机拍下的人体视频就是全部输入。

上图是使用 ZJU-MoCap 数据集（23 路已标定同步相机）捕捉舞蹈动作并拟合 SMPL-X 模型的示例。

二、EasyMocap 凭什么"让动捕捉变简单"

一条数据流看懂它的工作原理

整个系统可以用"输入 → 处理 → 输出"的数据流概括：

1. 输入：多视角 RGB 视频 + 相机内外参（intri.yml/extri.yml）
2. 2D 关键点检测：项目集成了 OpenPose、HRNet、YOLOv4、MediaPipe 等多种检测器，代码集中在easymocap/estimator/
3. 三角化：把多视角的 2D 关键点投影三角化得到 3D 关键点，实现在easymocap/mytools/triangulator.py
4. 模型拟合：用 L-BFGS 等优化器把 SMPL / SMPL+H / SMPL-X / MANO 人体模型拟合到关键点上，核心在easymocap/smplmodel/与easymocap/pyfitting/
5. 输出：每帧的 3D 关键点、SMPL 参数（姿态/体型/位移）、Mesh 顶点，可直接导出供 Blender 等软件使用

关键点在于：无论什么场景，这条流水线是一致的，只是检测器、拟合策略和数据组织方式不同。

一个仓库，覆盖五种主流动捕场景

EasyMocap 并不是只解决一种问题的单点工具，而是一整套解决方案：

小提示：项目还随附apps/calibration/相机标定工具和apps/annotation/标注工具，构成从数据采集到后处理的完整闭环。

三、从零到跑通：安装与数据准备

环境安装其实只有三步

以 Python 环境为例（详细说明见 doc/installation.md）：

git clone https://gitcode.com/gh_mirrors/ea/EasyMocap cd EasyMocap pip install -r requirements.txt python3 setup.py develop --user

安装完成后，还差最后一件"原材料"：SMPL 系列模型文件（需在官方 SMPL/SMPL-X 项目页注册申请）。下载后按如下结构放置：

data └── smplx ├── smpl/SMPL_MALE.pkl # 或 FEMALE / NEUTRAL ├── smplh/SMPLH_MALE.pkl └── smplx/SMPLX_MALE.pkl

建议先只跑通最基础的单人多视角 Demo 再往下深入，避免一开始就被复杂的模型配置劝退。

数据目录怎么摆

无论使用哪种场景，数据组织方式都遵循同一套约定：

<seq> ├── intri.yml # 相机内参 ├── extri.yml # 相机外参 └── videos ├── 1.mp4 # 相机 1 的拍摄视频 ├── 2.mp4 └── ...

拍好视频后，先用一条命令把视频抽帧并跑 2D 关键点检测：

python3 scripts/preprocess/extract_video.py ${data} --openpose <openpose_path> --handface

四、动手第一步：三步完成相机标定

3D 重建的精度上限由相机标定决定。好在 EasyMocap 把整个标定流程压缩成了三步。

拍好两组棋盘格素材

• 内参素材：每个相机单独拍一段棋盘格视频，存到<intri_data>/videos/，文件名即相机名；
• 外参素材：把棋盘格放在所有相机都能看到的位置（比如地面），所有相机同时拍一张或一段短视频。

两个小提醒：棋盘格越大越好；整个过程中不要改变相机分辨率和镜头。

两条命令算出内外参并验证

# 抽帧 + 检测棋盘格角点 python3 apps/calibration/detect_chessboard.py ${data} --out ${data}/output/calibration --pattern 9,6 --grid 0.1 # 内参标定 python3 apps/calibration/calib_intri.py ${data} --step 5 # 外参标定 python3 apps/calibration/calib_extri.py ${extri} --intri ${intri}/output/intri.yml

标定完别急着开跑，先用check_calib.py验证一下结果是否可靠：

python3 apps/calibration/check_calib.py ${extri} --out ${intri}/output --vis --show

通过棋盘格重投影直观检查相机内外参是否正确。如果角点错位明显，说明某一步拍摄或检测出了问题。

五、正式动捕：从单人演示到多人重建

5 分钟跑通单人多视角重建

官方在 doc/quickstart.md 中提供了一个示例数据集的完整流程：

data=path/to/data # 抽帧并检测身体/手/脸关键点 python3 scripts/preprocess/extract_video.py ${data} --handface # SMPL 重建 python3 apps/demo/mv1p.py ${data} --out ${data}/output/smpl --vis_det --vis_repro --undis --sub_vis 1 7 13 19 --vis_smpl # 换成 SMPL-X，一次捕捉身体+手+脸 python3 apps/demo/mv1p.py ${data} --out ${data}/output/smplx --vis_det --vis_repro --undis --sub_vis 1 7 13 19 --body bodyhandface --model smplx --gender male --vis_smpl

运行后，${data}/output/下会生成每帧的 3D 关键点、SMPL 参数文件，以及渲染好的可视化视频。如果只想先跑通最小示例，--vis_smpl、--vis_repro等可视化开关都可以按需增减。

进阶：多人场景与互联网视频

多视角多人走的是"重建 → 跟踪 → 拟合"三段式：

python3 apps/demo/mvmp.py ${data} --out ${data}/output --annot annots --cfg config/exp/mvmp1f.yml --undis --vis_det --vis_repro python3 apps/demo/auto_track.py ${data}/output ${data}/output-track --track3d python3 apps/demo/smpl_from_keypoints.py ${data} --skel ${data}/output-track/keypoints3d --out ${data}/output-track/smpl --verbose

互联网视频单目动捕则更有意思——不需要任何多视角设备，apps/demo/1v1p_mirror.py通过 2D 关键点 + SPIN 网络做 CNN 初始化，再从单段视频中拟合出 SMPL：

从单段普通视频中重建出的三维人体姿态，图中展示的是网球发球动作的动捕结果。

六、结果可视化、参数调优与下一步

实时 3D 可视化：边跑边看

EasyMocap 提供了基于 Open3D 的实时 3D 可视化方案，支持骨骼和 SMPL/SMPL-X/MANO 网格：

# 先启动可视化服务端 python3 apps/vis/vis_server.py --cfg config/vis3d/o3d_scene.yml # 再发送你的 3D 数据 python3 apps/vis/vis_client.py --path <你的keypoints3d路径>

实时可视化界面：左上是多视角画面，主窗口显示 3D 骨骼与棋盘格地面，红蓝坐标轴帮助定位空间方位。

更进一步，你还可以通过from easymocap.socket.base_client import BaseSocketClient把可视化嵌入自己的代码，在任意位置发送 3D 数据实时刷新。

常见问题与参数调优速查表

新手建议从config/mv1p/detect_triangulate_fitSMPL.yml这类现成配置入手，先减少相机数量保证跑通，再逐步增加、逐项调优。

写在最后

回顾这条路线：普通相机拍视频 → 标定相机 → 三角化 3D 关键点 → SMPL 模型拟合 → 实时可视化，EasyMocap 把一个原本需要专业设备和团队的流程，压缩到了普通笔记本也能运行的几条命令里。无论你是想给自己的项目接入 3D 人体姿态，还是对动捕技术好奇想试试水，它都是当前开源生态里路径完整、资料齐全的选择之一。

现在就git clone https://gitcode.com/gh_mirrors/ea/EasyMocap，用官方示例数据集跑通你的第一份动捕结果吧。如果你在标定、拟合或可视化环节踩了坑，欢迎在仓库提交 Issue；如果做出了有趣的自定义模块，也期待你的 Pull Request 一起共建——项目仍在持续迭代中，新功能与示例数据也在不断补充。

【免费下载链接】EasyMocapMake human motion capture easier.项目地址: https://gitcode.com/gh_mirrors/ea/EasyMocap