机器学习周报五十一
文章目录
- 摘要
- Abstract
- 1.Animatable 3D Gaussian
- 总结
摘要
本周阅读了论文Animatable 3D Gaussian，对LBS如何将高斯点映射到观测空间有了了解，形成对完整的高斯泼溅重建人体的流程的认识。
Abstract
This week I read the paper Animatable 3D Gaussian and got an understanding of how LBS maps Gaussian points to the observation space, which gave me a sense of the full process of reconstructing the human body with Gaussian splats.
1.Animatable 3D Gaussian
神经辐射场能够重建高质量的可驱动人类化身，但训练和渲染成本很高。为减少消耗，提出可动画化的3D高斯，从输入图像和姿势中学习人类化身。通过在正则空间中建模一组蒙皮的3D高斯模型和相应的骨架，并根据输入姿态将3D高斯模型变形到姿态空间，将3D高斯扩展到动态人类场景。引入哈希编码的形状和外观来加快训练，并提出与时间相关的环境光遮蔽，以在包含复杂运动和动态阴影的场景中实现高质量重建。在新视图合成和新姿态合成任务中，所提出方法在训练时间、渲染速度和重建质量方面都优于现有方法。所提出方法可以很容易地扩展到多人类场景，并在25秒训练时间内实现十人场景的高质量的新视图合成结果。
初始化（规范空间中的可动画3D高斯）
输入：标准人体模板（如SMPL模型，包含约14万个顶点）。
操作：为每个顶点创建一个3D高斯点，并绑定对应的骨骼和蒙皮权重 w（权重固定，不参与优化）。
参数：每个高斯点初始包含位置x 0 x_0x0、旋转R、缩放S、不透明度α 0 \alpha_0α0，以及后续待优化的顶点位移σ x \sigma_xσx和球谐系数sh。
多头哈希编码器
预测顶点位移：输入为高斯中心位置x 0 x_0x0和当前帧姿态S t S_tSt，输出位移σ x \sigma_xσx。这使得高斯点能随姿态变化产生形变。
x 0 , S t → σ x x_0,S_t \rightarrow \sigma_xx0,St→σx
预测球谐系数：输入为位置x 0 x_0x0，输出颜色系数S H SHSH，实现连续的颜色场。
预测环境光遮蔽：输入为位置X − 0 X-0X−0和时间编码y ( t ) y(t)y(t)，输出遮蔽因子α 0 \alpha_0α0。
位置变形：根据骨骼变换矩阵B i t B^t_iBit和蒙皮权重w i w_iwi，计算变形后的位置x t = ∑ w i B i t ( x 0 + σ x ) x_t=\sum w_i B_i^t(x_0+\sigma_x)xt=∑wiBit(x0+σx)
旋转变形：高斯的旋转矩阵 R 也通过同样的LBS算法变形，保证各向异性的高斯在姿态变化时方向正确。
视角方向逆变换：渲染时，将相机视角方向从姿态空间逆变换回规范空间，再查询球谐系数，保证颜色随视角变化的一致性。
最后通过高斯泼溅进行渲染。
总结
3D gaussian Animate中的很多流程都比较复杂，但是其中的deformer模块还一直被继续使用到现在，已经对LBS蒙皮等操作的描述，让我了解到高斯泼溅重建人体的完整流程。