360 度无死角！UC 伯克利华人发布 3DHM 框架：一张图片即可模仿任意视频动作

图片地址：https://img.ithome.com/newsuploadfiles/2024/1/3c6d6379-7913-49ca-83dd-4dbd08fd4cc4.png?x-bce-process=image/format,f_auto

【新智元导读】无需标注数据，3DHM 框架即可让照片动起来，模仿目标视频动作，衣服动起来也真实！输入一张任意姿势的照片，想让照片里的人跟随「指定视频」来进行动作模仿并不简单，除了肢体动作的模仿外，模型还需要对运动过程中衣服、人物外观的变化进行建模。如果输入图像是正面的，而模仿的视频动作包括转身的话，模型还需要「想象」出衣服的背面样子，以及衣服在转动过程中飘起的样子。为了解决这个问题，来自加州大学伯克利分校的研究人员提出了一个两阶段的、基于扩散模型的框架 3DHM，通过从单个图像完成纹理图来合成 3D 人体运动，然后渲染 3D 人体以模仿视频中 actor 的动作。论文地址：https://arxiv.org/ abs / 2401.108893DHM 模型中包含两个核心组件：1. 学习人体和服装中不可见部分的先验知识。研究人员使用填充扩散（in-filling diffusion）模型，在给定的单张图像中想象（hallucina