一张照片就能生成 3D 模型，GAN 和自动编码器碰撞出奇迹

图片地址：https://img.ithome.com/newsuploadfiles/2022/3/c92ffe73-d317-4b44-b8cf-b6a80f3063d9.png

2D 图片“脑补”3D 模型，这次真的只用一张图就行了 ——只需要给 AI 随便喂一张照片，它就能从不一样的角度给你生成“新视图”：不仅能搞定 360° 的椅子和汽车，连人脸也玩出了新花样，从“死亡自拍”角度到仰视图都能生成：更有意思的是，这只名叫 Pix2NeRF 的 AI，连训练用的数据集都有点“与众不同”，可以在没有 3D 数据、多视角或相机参数的情况下学会生成新视角。可以说是又把 NeRF 系列的 AI 们卷上了一个新高度。用 GAN + 自动编码器学会“脑补”在此之前，NeRF 能通过多视图训练 AI 模型，来让它学会生成新视角下的 3D 物体照片。然而，这也导致一系列采用 NeRF 方法的模型，包括 PixelNeRF 和 GRF，都需要利用多视图数据集才能训练出比较好的 2D 生成 3D 模型效果。而多视图数据集往往有限，训练时间也比较长。因此，作者们想出了一个新方法，也就是用自动编码器来提取物体姿态和形状特征，再