Bill Dally是世界上最杰出的计算机科学家之一，也是NVIDIA研究工作的负责人。他将在Hot Chips大会的主题演讲中描述推动加速计算和人工智能的力量。Hot Chips是一年一度的领先处理器和系统架构师聚会。 Dally将详细介绍GPU芯片、系统和软件的进展，这些进展为各种应用带来了前所未有的性能提升。演讲将展示如何利用混合精度计算、高速互连和稀疏性等技术将推动生成式人工智能的大语言模型提升到新的水平。 “现在是成为计算机工程师的非常激动人心的时刻，” Dally在2月份入选硅谷工程理事会名人堂时如是说道。 Dally的主题演讲将于8月29日上午9点PT开启Hot Chips的第三天。可以在线注册参加虚拟活动。位于帕洛阿尔托的斯坦福大学的现场活动已经售罄。 Dally的职业涵盖近四十年，他开创了许多构成当今超级计算机和网络架构的基础技术。作为NVIDIA研究部门的负责人，他领导着一个由全球300多名发明家组成的团队，致力于发明各种应用的技术，包括人工智能、高性能计算、图形和网络。 在2009年加入NVIDIA之前，他曾担任斯坦福大学计算机科学系主任长达四年之久。 Dally是美国国家工程院的院士，也是美国艺术与科学院、电气和电子工程师学会以及计算机协会的会士。他撰写了四本教科书，发表了250多篇论文，拥有120多项专利，并获得了IEEE Seymour Cray奖、ACM Eckert-Mauchly奖和ACM Maurice Wilkes奖。 NVIDIA在Hot Chips的更多演讲 在另一场Hot Chips演讲中，NVIDIA网络副总裁Kevin Deierling将描述NVIDIA BlueField DPUs和NVIDIA Spectrum网络交换机在根据不断变化的网络流量和用户规则分配资源方面的灵活性。…
Leave a CommentTag: NVIDIA Research
机器人正在仓库中搬运货物、包装食品、帮助组装车辆——当它们不翻转汉堡或者冲泡拿铁时。 它们是如何如此迅速地变得如此熟练呢？机器人模拟。 它正在以飞跃的进步改变我们周围的各个行业。 机器人模拟简介 机器人模拟器将虚拟机器人放置在虚拟环境中，以测试机器人的软件，而无需实际机器人。而最新的模拟器可以生成数据集，用于训练将在实际机器人上运行的机器学习模型。 在这个虚拟世界中，开发者创建机器人、环境和其他机器人可能遇到的素材的数字版本。这些环境可以遵守物理定律，并模拟真实世界的重力、摩擦、材料和光照条件。 谁在使用机器人模拟？ 如今，机器人在大规模上提升了业务。一些最大和最具创新性的机器人公司都依赖于机器人模拟。 得益于模拟，配送中心每天可以处理数千万个包裹。 亚马逊机器人使用它来支持其配送中心。宝马集团借助它加速其汽车装配厂的规划。软性机器人应用它来完善食品包装的抓取和放置。 全球各地的汽车制造商都在用机器人来支持他们的业务。 “汽车公司雇佣了将近1400万人。数字化将提高这个行业的效率、生产力和速度，” NVIDIA首席执行官Jensen Huang在最新的GTC主题演讲中说道。 机器人模拟的工作原理简介 一个先进的机器人模拟器首先应用物理基本方程。例如，它可以使用牛顿运动定律来确定物体在一个小时间增量或时间步长内的运动方式。它还可以结合机器人的物理约束条件，比如由铰链般的连接构成，或者无法穿过其他物体。 模拟器使用各种方法来检测物体之间的潜在碰撞，识别碰撞物体之间的接触点，并计算阻止物体相互穿过的力或冲量。模拟器还可以计算用户寻求的传感器信号，比如机器人关节处的扭矩或机器人夹持器与物体之间的力。 然后，模拟器将根据用户的要求重复这个过程。一些模拟器，比如基于NVIDIA Omniverse的NVIDIA Isaac Sim应用程序，还可以在每个时间步长上提供物理上准确的模拟器输出的可视化。 使用机器人模拟器的成果 机器人模拟器用户通常会导入机器人的计算机辅助设计模型，并导入或生成感兴趣的对象来构建虚拟场景。开发者可以使用一组算法来执行任务规划和运动规划，然后指定控制信号来执行这些计划。这使得机器人能够执行任务并以特定方式移动，比如拾取一个物体并将其放置在目标位置。 开发者可以观察计划和控制信号的结果，然后根据需要进行修改以确保成功。最近，有一种向基于机器学习的方法的转变。所以，用户不是直接指定控制信号，而是指定所需的行为，比如移动到一个位置而不发生碰撞。在这种情况下，一个数据驱动的算法会根据机器人的模拟传感器信号生成控制信号。 这些算法可以包括模仿学习，其中人类演示可以提供参考，以及强化学习，机器人通过智能的试错学习来实现行为，通过加速的虚拟体验快速学习多年的经验。…
Leave a CommentNVIDIA将在下周的计算机视觉和模式识别会议（CVPR）上，作为自主驾驶开发中激烈争夺的3D占用预测挑战的优胜者进行展示，该会议将在加拿大温哥华举行。 该比赛来自来自10个地区的近150个团队的400多个提交。 3D占用预测是预测场景中每个体素的状态的过程，即3D俯视图网格上的每个数据点。体素可以被识别为自由、占用或未知。 3D占用网格预测对于安全和强大的自动驾驶系统的发展至关重要，它利用最先进的卷积神经网络和变压器模型为自主驾驶车辆（AV）规划和控制堆栈提供信息，这些模型是由NVIDIA DRIVE平台启用的。 “NVIDIA的获胜解决方案具有两个重要的AV进展，” NVIDIA的学习和感知的高级研究科学家Zhiding Yu说。“它展示了一种最先进的模型设计，可以提供出色的俯视感知。它还展示了具有10亿个参数和大规模预训练的视觉基础模型在3D占用预测中的有效性。” 自主驾驶的感知在过去几年中已经从处理2D任务（例如检测图像中的对象或自由空间）发展到使用多个输入图像推理世界中的3D。 这现在为复杂交通场景中物体提供了灵活而精确的细粒度表示，这是“实现自主驾驶的安全感知要求至关重要的，” NVIDIA的AV应用研究总监和杰出科学家Jose Alvarez说。 于将在CVPR的端到端自主驾驶研讨会上介绍NVIDIA研究团队的获奖作品，时间为6月18日星期天上午10:20，以及在6月19日星期一下午4:00举行的视觉中心自主驾驶研讨会上介绍。 除了在比赛中获得第一名外，NVIDIA还将在会议上获得创新奖，该奖项表彰了其“对视图转换模块开发的新见解”，与以前的方法相比，“性能大幅提高”，根据CVPR研讨会委员会的说法。 请阅读NVIDIA提交的技术报告。 3D占用预测使车辆更安全 虽然传统的3D对象检测（检测和表示场景中的对象，通常使用3D边界框）是AV感知中的核心任务，但它也有其局限性。例如，它缺乏表现力，这意味着边界框可能不表示足够的现实世界信息。它还需要为所有可能的对象定义分类和基本真实，甚至包括在现实世界中很少见到的对象，例如可能从卡车上掉落的道路障碍。 相比之下，3D占用预测为自驾车的规划堆栈提供了丰富的关于世界的信息，这对于端到端自驾车是必要的。 软件定义的车辆可以持续升级，使用随时间证明和验证的新发展。来自研究倡议的最先进的软件更新，如CVPR所认可的更新，正在为新功能和更安全的驾驶功能提供支持。 NVIDIA DRIVE平台为汽车制造商提供了一条通往生产的道路，为安全可靠的AV开发提供全栈硬件和软件，从汽车到数据中心。 CVPR挑战赛详情 CVPR的3D占用预测挑战要求参与者在推理期间仅使用相机输入开发算法。参与者可以使用开源数据集和模型，促进数据驱动算法和大型模型的探索。组织者为最新的实际场景中最先进的3D占用预测算法提供了基线沙盒。 NVIDIA在CVPR上 NVIDIA将在CVPR上展示近30篇论文和演示。将讨论自动驾驶的专家包括：…
Leave a Comment