微比恩 > 信息聚合 > 只用一张图 + 相机走位,AI 就能脑补周围环境:通通都是高保真效果

只用一张图 + 相机走位,AI 就能脑补周围环境:通通都是高保真效果

2022-03-21 15:29:16来源: IT之家

站在门口看一眼,AI 就能脑补出房间里面长什么样:是不是有线上 VR 看房那味儿了?不只是室内效果,来个远景长镜头航拍也是 so easy:而且渲染出的图像通通都是高保真效果,仿佛是用真相机拍出来的一样。最近一段时间,用 2D 图片合成 3D 场景的研究火了一波又一波。但是过去的许多研究,合成场景往往都局限在一个范围比较小的空间里。比如此前大火的 NeRF,效果就是围绕画面主体展开。这一次的新进展,则是将视角进一步延伸,更侧重让 AI 预测出远距离的画面。比如给出一个房间门口,它就能合成穿过门、走过走廊后的场景了。目前,该研究的相关论文已被 CVPR2022 接收。输入单张画面和相机轨迹让 AI 根据一个画面,就推测出后面的内容,这个感觉是不是和让 AI 写文章有点类似?实际上,研究人员这次用到的正是 NLP 领域常用的 Transformer。他们利用自回归 Transformer 的方法,通过输入单个场景图像和摄像机运动轨迹

关注公众号
标签: AI