Press "Enter" to skip to content

Tag: NVIDIA BlueField

什么是超级NIC?

生成式人工智能是快速变化的数字领域中的最新转变。其中一个开创性的创新是一个相对较新的术语:SuperNIC。 什么是SuperNIC? SuperNIC是一类新的网络加速器,旨在为以太网云中的超大规模人工智能工作负载提供超高速的网络连接。它利用基于收敛以太网(RoCE)技术的远程直接内存访问(RDMA),实现了GPU到GPU通信的闪电般快速的网络连接速度,最高可达到400Gb/s。 SuperNIC具备以下独特的特点: 高速的数据包重新排序,确保数据包按照原始传输的顺序接收和处理,从而保持数据流的顺序完整性。 使用实时遥测数据和网络感知算法进行先进的拥塞控制,以管理和预防人工智能网络中的拥塞。 在输入/输出(I/O)路径上进行可编程计算,以实现人工智能云数据中心网络基础设施的定制和可扩展性。 高效节能的低轮廓设计,以在有限的功率预算内有效容纳人工智能工作负载。 全栈人工智能优化,包括计算、网络、存储、系统软件、通信库和应用框架。 最近,NVIDIA推出了世界上第一个专为人工智能计算定制的SuperNIC,基于BlueField-3网络平台。它是NVIDIA Spectrum-X平台的一部分,能够与Spectrum-4以太网交换机系统无缝集成。 NVIDIA BlueField-3 SuperNIC和Spectrum-4交换机系统共同构成了一个专为优化人工智能工作负载而设计的加速计算架构的基础。Spectrum-X始终提供高网络效率水平,胜过传统以太网环境。 “在人工智能推动下一波技术创新的世界中,BlueField-3 SuperNIC是重要的部件,” NVIDIA数据处理器和网络接口卡产品副总裁Yael Shenhav表示,“SuperNIC确保您的人工智能工作负载高效而快速地执行,成为推动人工智能计算未来的基础组件。” 人工智能和网络的不断演变 由于生成式人工智能和大型语言模型的出现,人工智能领域正在发生巨大变革。这些强大的技术打开了新的可能性,使计算机能够处理新的任务。 人工智能的成功在很大程度上依赖于GPU加速计算,用于处理海量数据、训练大型人工智能模型和实现实时推理。这种新的计算能力开辟了新的可能性,但也对以太网云网络提出了挑战。 传统以太网作为支撑互联网基础设施的技术,最初是为了提供广泛的兼容性和连接松散耦合的应用程序而设计的。它并不适用于处理现代人工智能工作负载的要求,这些要求包括紧密耦合的并行处理、快速数据传输和独特的通信模式,它们都需要优化的网络连接。 基础网络接口卡(NIC)是为通用计算、通用数据传输和互操作性而设计的,它们从未被设计用于应对人工智能工作负载的计算强度所带来的独特挑战。 标准的网络接口卡缺乏有效数据传输、低延迟和决定性性能对于人工智能任务至关重要的特性和功能。而SuperNIC则是专为现代人工智能工作负载而构建的。 人工智能计算环境中的SuperNIC优势…

Leave a Comment

直播自台北: NVIDIA CEO 发布面向各行业的 Gen AI 平台

在疫情以来的首次现场主题演讲中,NVIDIA的创始人兼CEO黄仁勋今天在台北举行的COMPUTEX大会上宣布了一些平台,这些平台可以帮助公司乘风破浪,参与到一波历史性的生成式人工智能浪潮中,这个浪潮正在改变从广告到制造业再到电信等行业。 “我们回来了,”黄仁勋在他的家中厨房进行了几年的虚拟主题演讲之后在舞台上大声喊道。“我已经有将近四年没有公开演讲了–祝我好运!” 他向约3500名观众演讲了近两个小时,介绍了加速计算服务、软件和系统,这些都使新的商业模式成为可能,也让现有的商业模式更加高效。 “加速计算和人工智能标志着计算机的重新发明,”黄仁勋说道,他在过去一周在家乡的旅行每天都被当地媒体追踪报道。 为了展示它的强大,他使用了他所在的巨大的8K墙,展示了一个文本提示,生成了一首主题歌,可以随意地唱,就像任何卡拉OK歌曲一样。黄仁勋偶尔用他的家乡语言和观众开玩笑,并短暂地带领观众唱了这首新歌。 “现在我们处于一个新的计算时代的临界点,加速计算和人工智能已经被全球几乎所有的计算和云计算公司所接受,”他说道,指出现在有40,000家大型公司和15,000家初创公司使用NVIDIA技术,去年CUDA软件下载量达到2500万次。 主题演讲的重要新闻公告 Grace Hopper提供大内存超级计算机,用于生成式人工智能。 模块化参考架构可以创建100多个加速服务器变体。 WPP和NVIDIA在Omniverse中创建数字广告内容引擎。 SoftBank和NVIDIA在日本建立5G和生成式人工智能数据中心。 网络技术加速基于以太网的人工智能云。 NVIDIA ACE for Games利用生成式人工智能为角色赋予生命。 全球的电子制造商都在使用NVIDIA人工智能。 企业人工智能的新引擎 对于需要最佳人工智能性能的企业,他推出了DGX GH200,一个大内存人工智能超级计算机。它使用NVIDIA NVLink将多达256个NVIDIA GH200 Grace Hopper超级芯片组合成一个单一的数据中心大小的GPU。…

Leave a Comment