5 秒手机视频也能重建猫咪 3D 模型，Meta 提出新算法为变形物体建模

图片地址：https://img.ithome.com/newsuploadfiles/2022/3/cbfab247-7a29-4fc3-8a1e-44c12bc2b997.gif

众所周知，猫是一种液体。这也给 CVer 带来了极大的烦恼：如何从 2D 视频中准确地对一只猫进行 3D 重建？在很多情况下，3D 重建模型得到的真是一滩液体。而最近 Meta 团队提出的 BANMo（Builder of Animatable 3D Neural Models），实现了对猫精确的 3D 重建。这种方法既不需要专门的传感器，也不需要预定义的模板形状，甚至只用你平时给猫咪拍摄的休闲小视频，就可以做 3D 重建。这篇关于 BANMo 的论文最近被 CVPR 2022 接收，作者已经将相关代码开源。原理从单目视频中重建自由移动的非刚性物体（例如猫），是一项高度约束不足的任务，会面临三大挑战：如何在规范空间中表示目标模型的 3D 外观和变形；如何找到规范空间与每帧之间的映射关系；如何找到图像中视角、光线变化、目标变形之间的 2D 对应关系。之前像 NRSfM、NeRF 等方法，要么是无法精确重建表面，要么对拍摄视角与物体