NVIDIA将在下周的计算机视觉和模式识别会议（CVPR）上，作为自主驾驶开发中激烈争夺的3D占用预测挑战的优胜者进行展示，该会议将在加拿大温哥华举行。
该比赛来自来自10个地区的近150个团队的400多个提交。
3D占用预测是预测场景中每个体素的状态的过程，即3D俯视图网格上的每个数据点。体素可以被识别为自由、占用或未知。
3D占用网格预测对于安全和强大的自动驾驶系统的发展至关重要，它利用最先进的卷积神经网络和变压器模型为自主驾驶车辆（AV）规划和控制堆栈提供信息，这些模型是由NVIDIA DRIVE平台启用的。
“NVIDIA的获胜解决方案具有两个重要的AV进展，” NVIDIA的学习和感知的高级研究科学家Zhiding Yu说。“它展示了一种最先进的模型设计，可以提供出色的俯视感知。它还展示了具有10亿个参数和大规模预训练的视觉基础模型在3D占用预测中的有效性。”
自主驾驶的感知在过去几年中已经从处理2D任务（例如检测图像中的对象或自由空间）发展到使用多个输入图像推理世界中的3D。
这现在为复杂交通场景中物体提供了灵活而精确的细粒度表示，这是“实现自主驾驶的安全感知要求至关重要的，” NVIDIA的AV应用研究总监和杰出科学家Jose Alvarez说。
于将在CVPR的端到端自主驾驶研讨会上介绍NVIDIA研究团队的获奖作品，时间为6月18日星期天上午10:20，以及在6月19日星期一下午4:00举行的视觉中心自主驾驶研讨会上介绍。
除了在比赛中获得第一名外，NVIDIA还将在会议上获得创新奖，该奖项表彰了其“对视图转换模块开发的新见解”，与以前的方法相比，“性能大幅提高”，根据CVPR研讨会委员会的说法。
请阅读NVIDIA提交的技术报告。
3D占用预测使车辆更安全
虽然传统的3D对象检测（检测和表示场景中的对象，通常使用3D边界框）是AV感知中的核心任务，但它也有其局限性。例如，它缺乏表现力，这意味着边界框可能不表示足够的现实世界信息。它还需要为所有可能的对象定义分类和基本真实，甚至包括在现实世界中很少见到的对象，例如可能从卡车上掉落的道路障碍。
相比之下，3D占用预测为自驾车的规划堆栈提供了丰富的关于世界的信息，这对于端到端自驾车是必要的。
软件定义的车辆可以持续升级，使用随时间证明和验证的新发展。来自研究倡议的最先进的软件更新，如CVPR所认可的更新，正在为新功能和更安全的驾驶功能提供支持。
NVIDIA DRIVE平台为汽车制造商提供了一条通往生产的道路，为安全可靠的AV开发提供全栈硬件和软件，从汽车到数据中心。
CVPR挑战赛详情
CVPR的3D占用预测挑战要求参与者在推理期间仅使用相机输入开发算法。参与者可以使用开源数据集和模型，促进数据驱动算法和大型模型的探索。组织者为最新的实际场景中最先进的3D占用预测算法提供了基线沙盒。
NVIDIA在CVPR上
NVIDIA将在CVPR上展示近30篇论文和演示。将讨论自动驾驶的专家包括：
- Jose Alvarez将在端到端自主驾驶研讨会：新兴任务和挑战研讨会上讨论AV感知中的3D感知问题，并在嵌入式视觉研讨会上优化大型深度模型以进行实时推理。
- NVIDIA的深度学习总监Nikolai Smolyanskiy将在端到端自主驾驶研讨会：感知、预测、规划和仿真中讨论AV的实时交通预测。
- NVIDIA的杰出工程师Robin Jenkin将在OmniCV研讨会上讨论鱼眼相机中的图像质量，该研讨会与CVPR并发举行。
- 在Vision-Centric Autonomous Driving Workshop上，NVIDIA的AV研究科学家Xinshuo Weng将讨论自主驾驶的视觉解决方案。
查看议程上的其他演讲，了解CVPR期间NVIDIA的更多信息，该会议将于6月18日至22日举行。
特色图片由OccNet和Occ3D提供。