百度论文研究：单目摄像头实时感知车辆形状，显著提高 3D 目标检测性能

图片地址：https://img.ithome.com/newsuploadfiles/2021/9/05dd51df-0d42-4985-8d37-3199462130e3.png

通常，自动驾驶汽车通过单目摄像头看到的世界长这个样子：马路上的其他车辆、物体，都被统一建模成一个个立方体，具体的结构细节则被忽略。想要更精准地勾勒出车辆的真实形态，当然也不是不行，但那就需要用上激光雷达、双目相机等更加昂贵的传感器。不过现在，一项最新研究赋予了单目摄像头新的能力 ——是的，仅凭单目相机，就能实时感知物体的 3D 形状，进而提高 3D 目标检测性能。这项研究来自百度，论文已经入选 ICCV 2021。考虑 2D/3D 形状感知约束的 3D 检测框架具体如何实现？大体上可以分为三步：首先，引入 CAD 模型，在 CAD 模型上预先定义几个不同的 3D 关键点。然后利用深度学习网络，来建立 3D 关键点和它们在图像上的 2D 投影之间的关联。最后，利用这样的对应关系为每个目标物体建立 2D/3D 约束。整体的网络架构如上图所示，8 个分支头分别对应中心点分类、中心点偏移、2D 关键点、3D 坐标、关键点置信度、物体方向