关于大型语言模型的一切都是巨大的——巨大的模型在数千个NVIDIA GPU上的大规模数据集上进行训练。 这对于追求生成式人工智能的公司来说会带来很多大的挑战。 NVIDIA NeMo是一个构建、定制和运行LLM的框架，有助于克服这些挑战。 亚马逊网络服务的一支由经验丰富的科学家和开发人员组成的团队正在创建Amazon Titan为Amazon Bedrock提供基础模型，后者是一项基于基础模型的生成式人工智能服务，并在过去的几个月中一直使用NVIDIA NeMo。 “与NeMo合作的一个重要原因是它的可扩展性，它具有优化功能，可以在高GPU利用率下运行，并使我们能够扩展到更大的集群，以便我们能够更快地训练和交付模型给我们的客户，”亚马逊网络服务的高级应用科学家Leonard Lausen说。 融入大规模环境 NeMo中的并行技术使得大规模LLM的训练更加高效。与AWS的弹性适配器相结合，可以将LLM分散到多个GPU上加速训练。 EFA提供了一个UltraCluster网络基础设施，可以直接连接超过10,000个GPU，并通过NVIDIA GPUDirect绕过操作系统和CPU。 这种组合使得AWS的科学家们能够提供优秀的模型质量，这是仅依赖数据并行化方法无法实现的。 适用于各种规模的框架 “NeMo的灵活性，”Lausen说，“使得AWS能够根据新的Titan模型、数据集和基础设施的特点来定制训练软件。” AWS的创新包括从Amazon Simple Storage Service（Amazon S3）到GPU集群的高效流处理。“由于NeMo基于像PyTorch Lightning这样的流行库构建，这些改进很容易融入其中，这些库标准化了LLM训练流程组件，”Lausen说。 AWS和NVIDIA的目标是吸取他们的合作所学，为顾客带来像NVIDIA…
Leave a CommentTag: Events
Bill Dally是世界上最杰出的计算机科学家之一，也是NVIDIA研究工作的负责人。他将在Hot Chips大会的主题演讲中描述推动加速计算和人工智能的力量。Hot Chips是一年一度的领先处理器和系统架构师聚会。 Dally将详细介绍GPU芯片、系统和软件的进展，这些进展为各种应用带来了前所未有的性能提升。演讲将展示如何利用混合精度计算、高速互连和稀疏性等技术将推动生成式人工智能的大语言模型提升到新的水平。 “现在是成为计算机工程师的非常激动人心的时刻，” Dally在2月份入选硅谷工程理事会名人堂时如是说道。 Dally的主题演讲将于8月29日上午9点PT开启Hot Chips的第三天。可以在线注册参加虚拟活动。位于帕洛阿尔托的斯坦福大学的现场活动已经售罄。 Dally的职业涵盖近四十年，他开创了许多构成当今超级计算机和网络架构的基础技术。作为NVIDIA研究部门的负责人，他领导着一个由全球300多名发明家组成的团队，致力于发明各种应用的技术，包括人工智能、高性能计算、图形和网络。 在2009年加入NVIDIA之前，他曾担任斯坦福大学计算机科学系主任长达四年之久。 Dally是美国国家工程院的院士，也是美国艺术与科学院、电气和电子工程师学会以及计算机协会的会士。他撰写了四本教科书，发表了250多篇论文，拥有120多项专利，并获得了IEEE Seymour Cray奖、ACM Eckert-Mauchly奖和ACM Maurice Wilkes奖。 NVIDIA在Hot Chips的更多演讲 在另一场Hot Chips演讲中，NVIDIA网络副总裁Kevin Deierling将描述NVIDIA BlueField DPUs和NVIDIA Spectrum网络交换机在根据不断变化的网络流量和用户规则分配资源方面的灵活性。…
Leave a Comment本周，成千上万的黑客将在拉斯维加斯对最新的生成式人工智能平台进行调整、扭曲和探索，以构建更可信赖和包容的人工智能。 NVIDIA正在与黑客社区合作，建立测试下一代人工智能的最佳实践，参与业界领先的LLM解决方案（包括NVIDIA NeMo和NeMo Guardrails）的首次测试。 由AI Village、SeedAI和Humane Intelligence主办的Generative Red Team Challenge将是拉斯维加斯Black Hat和DEF CON安全会议上一系列研讨会、培训课程和NVIDIA领导人出席的活动之一。 这个挑战给黑客们提供了许多可利用的漏洞，承诺将是对新兴人工智能技术进行现实检验的第一个机会。 “人工智能使个体能够创造和构建以前不可能的事物，”SeedAI创始人、Generative Red Team Challenge联合组织者之一Austin Carson表示。“但是，如果没有一个庞大、多样化的社区来测试和评估这项技术，人工智能将只是其创造者的镜像，让社会的大部分人落后。” 与黑客社区的合作正值全球范围内关注人工智能安全的集中推动，拜登-哈里斯政府已经获得了在先进生成模型上工作的领先人工智能公司的自愿承诺，这一消息在全球都引起了轰动。 “AI Village汇集了关注AI系统影响和潜在恶意使用的社区，”AI Village创始人、Generative Red Team Challenge联合组织者之一Sven…
Leave a CommentNVIDIA今天与Pixar、Adobe、Apple和Autodesk联合创立了Alliance for OpenUSD，这是迈向解锁下一个3D图形、设计和仿真时代的重要一步。 该联盟将标准化并扩展OpenUSD，这是开源的通用场景描述框架，是互操作的3D应用和项目的基础，涵盖从视觉效果到工业数字双胞胎等各种领域。 几家领先的3D生态系统公司已经成为该联盟的首批普通会员，包括Cesium、Epic Games、Foundry、Hexagon、IKEA、SideFX和Unity。 标准化OpenUSD将加速其采用，创建一个基础技术，将帮助当前的2D互联网演变成3D网络。许多公司已经与NVIDIA合作开创这个未来。 从摩天大楼到跑车 OpenUSD是NVIDIA Omniverse的基础，这是一个用于连接和构建3D工具和应用的开发平台。Omniverse正在帮助Heavy.AI、Kroger和Siemens等公司构建和测试工厂、零售店、摩天大楼、跑车等物理精确模拟。 对于宜家来说，OpenUSD代表着“一种非专有的标准格式，用于编写和存储3D内容，以更紧密地连接我们的价值链，并以更低的价格开发家居解决方案，”宜家的创新经理Martin Enthed在联盟今天发布的新闻稿中说。 “通过加入该联盟，我们展示了我们对OpenUSD为客户提供的优势的承诺，这些优势包括与基于云的平台（包括Nexus、Hexagon的制造平台HxDR、Hexagon的数字现实平台和NVIDIA Omniverse）连接以在其行业中构建创新解决方案，”Hexagon的CTO Burkhard Boeckem说。 OpenUSD的起源 Pixar于2012年开始开发USD作为其特色电影的3D基础，提供跨数据和工作流程的互操作性。四年后，该公司将这项功能强大、多方面的技术开源，以便任何人都可以使用OpenUSD并为其发展做出贡献。 《寻梦环游记》中的场景分解与最终图像对比。USD在创造这部电影的复杂世界中起到了重要作用。© Disney/Pixar OpenUSD支持构建虚拟世界的要求，如几何、相机、灯光和材料。它还包括适用于大规模复杂数据集的功能，并且具有极高的可扩展性，使得这项技术能够适应视觉效果以外的工作流程。 OpenUSD的图示，展示了它作为大规模工业工作流程技术的强大能力。 OpenUSD的一个独特能力是其分层系统，它可以让用户实时协作而不会相互干扰。例如，一个艺术家可以建模一个场景，而其他人则为其创建照明。 打造共享标准 作为首要任务，该联盟将制定一个描述OpenUSD核心功能的规范。这将提供给工具构建者一个实施的指南，鼓励广泛应用开放标准于各种用例。…
Leave a Comment除了作为赞助商和定期的研讨会组织者外，我们的研究团队今年还将提交29篇论文，其中包括10个合作项目以下是我们即将进行的口头报告、重点报告和海报展示的简要概述
Leave a Comment从2022年7月17日至23日，第39届国际机器学习会议（ICML 2022）将在美国马里兰州巴尔的摩会议中心举行，并以混合方式进行研究人员们将展示和发表他们在人工智能、数据科学、机器视觉、计算生物学、语音识别等领域的尖端机器学习工作
Leave a Comment下周将举办第11届国际学习表示会议（ICLR），地点为卢旺达基加利，时间为5月1日至5日这将是非洲举办的第一个重要人工智能（AI）会议，也是自疫情开始以来的首个线下活动来自世界各地的研究人员将聚集在一起，分享他们在深度学习领域的前沿工作，涵盖人工智能、统计学和数据科学以及机器视觉、游戏和机器人等应用我们很自豪地作为钻石赞助商和多元包容倡导者支持此次会议
Leave a CommentNVIDIA将在下周的计算机视觉和模式识别会议（CVPR）上，作为自主驾驶开发中激烈争夺的3D占用预测挑战的优胜者进行展示，该会议将在加拿大温哥华举行。 该比赛来自来自10个地区的近150个团队的400多个提交。 3D占用预测是预测场景中每个体素的状态的过程，即3D俯视图网格上的每个数据点。体素可以被识别为自由、占用或未知。 3D占用网格预测对于安全和强大的自动驾驶系统的发展至关重要，它利用最先进的卷积神经网络和变压器模型为自主驾驶车辆（AV）规划和控制堆栈提供信息，这些模型是由NVIDIA DRIVE平台启用的。 “NVIDIA的获胜解决方案具有两个重要的AV进展，” NVIDIA的学习和感知的高级研究科学家Zhiding Yu说。“它展示了一种最先进的模型设计，可以提供出色的俯视感知。它还展示了具有10亿个参数和大规模预训练的视觉基础模型在3D占用预测中的有效性。” 自主驾驶的感知在过去几年中已经从处理2D任务（例如检测图像中的对象或自由空间）发展到使用多个输入图像推理世界中的3D。 这现在为复杂交通场景中物体提供了灵活而精确的细粒度表示，这是“实现自主驾驶的安全感知要求至关重要的，” NVIDIA的AV应用研究总监和杰出科学家Jose Alvarez说。 于将在CVPR的端到端自主驾驶研讨会上介绍NVIDIA研究团队的获奖作品，时间为6月18日星期天上午10:20，以及在6月19日星期一下午4:00举行的视觉中心自主驾驶研讨会上介绍。 除了在比赛中获得第一名外，NVIDIA还将在会议上获得创新奖，该奖项表彰了其“对视图转换模块开发的新见解”，与以前的方法相比，“性能大幅提高”，根据CVPR研讨会委员会的说法。 请阅读NVIDIA提交的技术报告。 3D占用预测使车辆更安全 虽然传统的3D对象检测（检测和表示场景中的对象，通常使用3D边界框）是AV感知中的核心任务，但它也有其局限性。例如，它缺乏表现力，这意味着边界框可能不表示足够的现实世界信息。它还需要为所有可能的对象定义分类和基本真实，甚至包括在现实世界中很少见到的对象，例如可能从卡车上掉落的道路障碍。 相比之下，3D占用预测为自驾车的规划堆栈提供了丰富的关于世界的信息，这对于端到端自驾车是必要的。 软件定义的车辆可以持续升级，使用随时间证明和验证的新发展。来自研究倡议的最先进的软件更新，如CVPR所认可的更新，正在为新功能和更安全的驾驶功能提供支持。 NVIDIA DRIVE平台为汽车制造商提供了一条通往生产的道路，为安全可靠的AV开发提供全栈硬件和软件，从汽车到数据中心。 CVPR挑战赛详情 CVPR的3D占用预测挑战要求参与者在推理期间仅使用相机输入开发算法。参与者可以使用开源数据集和模型，促进数据驱动算法和大型模型的探索。组织者为最新的实际场景中最先进的3D占用预测算法提供了基线沙盒。 NVIDIA在CVPR上 NVIDIA将在CVPR上展示近30篇论文和演示。将讨论自动驾驶的专家包括：…
Leave a Comment