主流用户和行业标准基准测试都认为：NVIDIA H100 Tensor Core GPU 提供了最佳的 AI 性能，特别是在驱动生成式 AI 的大型语言模型（LLM）方面表现出色。
H100 GPU 在最新的 MLPerf 训练基准测试中的所有八个测试中都创下了新记录，尤其是在生成式 AI 的新 MLPerf 测试中表现出色。这种卓越的性能在单个加速器和大规模服务器上都能得到体现。
例如，由创业公司 Inflection AI 和专门从事 GPU 加速工作负载的云服务提供商 CoreWeave 共同开发的 3,584 个 H100 GPU 集群系统，在商业上是可用的，其系统在不到十一分钟的时间内完成了基于 GPT-3 的大规模训练基准测试。
“我们的客户今天正在构建最先进的生成式 AI 和 LLM，这要归功于我们数千个 H100 GPU 在快速、低延迟的 InfiniBand 网络上的运行，”CoreWeave 的联合创始人兼 CTO Brian Venturo 表示。“我们与 NVIDIA 的联合 MLPerf 提交清楚地证明了我们的客户享受的出色性能。”
今天提供的最佳性能
Inflection AI 利用这种性能构建了其第一个个人 AI Pi 背后的先进 LLM，Pi 代表个人智能。该公司将作为一个 AI 工作室，创建用户可以简单、自然地与之交互的个人 AI。
“任何人都可以基于我们的最先进的大型语言模型，在 CoreWeave 强大的 H100 GPU 网络上进行训练，体验个人 AI 的强大功能，”Inflection AI 的 CEO Mustafa Suleyman 表示。
Inflection AI 由 DeepMind 的 Mustafa 和 Karén Simonyan 以及 Reid Hoffman 在 2022 年初共同创立，旨在与 CoreWeave 合作使用 NVIDIA GPU 构建世界上最大的计算集群之一。
数据对比
这些用户体验反映了今天宣布的 MLPerf 基准测试所展示的性能。
H100 GPU 在包括大型语言模型、推荐系统、计算机视觉、医学成像和语音识别在内的每个基准测试中都提供了最高的性能。它们是唯一可以运行所有八个测试的芯片，展示了 NVIDIA AI 平台的多功能性。
在大规模运行时的卓越性能
通常情况下，训练是由许多并行运行的 GPU 组成的集群完成的。在每个 MLPerf 测试中，H100 GPU 在 AI 训练方面创下了新的大规模性能记录。
在要求苛刻的 LLM 测试中，从数百到数千个 H100 GPU 的提交通过全技术堆栈的优化实现了近线性性能扩展。
此外，CoreWeave 在云中提供的性能与 NVIDIA 在本地数据中心运行的 AI 超级计算机所实现的性能类似。这证明了 CoreWeave 使用的 NVIDIA Quantum-2 InfiniBand 网络的低延迟性能。
在此轮测试中，MLPerf 还更新了其推荐系统基准测试。
新的测试使用更大的数据集和更现代的 AI 模型，以更好地反映云服务提供商面临的挑战。NVIDIA 是唯一在增强基准测试上提交结果的公司。
扩展中的 NVIDIA AI 生态系统
在本轮测试中，将近十家公司在 NVIDIA 平台上提交了结果。他们的工作表明，NVIDIA AI 得到了机器学习领域最广泛的生态系统的支持。
提交的结果来自包括华硕、戴尔科技、技嘉、联想和 QCT 在内的主要系统制造商。超过 30 个提交在 H100 GPU 上运行。
这种参与水平让用户知道他们可以在云中和在运行在自己数据中心的服务器上都得到 NVIDIA AI 的出色性能。
覆盖所有工作负载的性能
NVIDIA 生态系统合作伙伴参与 MLPerf 是因为他们知道这是客户评估 AI 平台和供应商的有价值工具。
这些基准测试涵盖了用户关心的工作负载，包括计算机视觉、翻译和强化学习，以及生成式 AI 和推荐系统。
用户可以依靠 MLPerf 的结果做出明智的购买决策，因为这些测试是透明和客观的。这些基准测试得到了包括 Arm、百度、Facebook AI、Google、哈佛大学、英特尔、微软、斯坦福大学和多伦多大学在内的广泛团体的支持。
MLPerf的结果现在已经可以在H100、L4和NVIDIA Jetson平台上进行人工智能训练、推理和高性能计算基准测试。我们还将在未来的MLPerf回合中在NVIDIA Grace Hopper系统上提交。
能源效率的重要性
随着人工智能的性能要求不断增长，扩展实现这种性能的效率至关重要。这就是加速计算所做的。
使用NVIDIA GPU加速的数据中心使用较少的服务器节点，因此它们使用更少的机架空间和能源。此外，加速网络提高了效率和性能，而持续的软件优化在同一硬件上带来了额外的收益。
节能的性能不仅有益于地球，也有益于企业。提高性能可以加快上市时间，让组织构建更先进的应用程序。
节能还可以降低成本，因为使用NVIDIA GPU加速的数据中心使用较少的服务器节点。事实上，NVIDIA在最新的Green500列表中为前30个超级计算机的22个提供动力。
所有人都可以使用的软件
NVIDIA AI Enterprise是NVIDIA AI平台的软件层，可以在领先的加速计算基础设施上实现优化的性能。该软件配备了企业级支持、安全性和可靠性，可在企业数据中心中运行人工智能。
所有用于这些测试的软件都可以从MLPerf存储库中获取，因此几乎任何人都可以获得这些世界级的结果。
优化不断地融入到NGC中可用的容器中，NGC是NVIDIA GPU加速软件的目录。
阅读这篇技术博客，深入了解推动NVIDIA的MLPerf性能和效率的优化。