英伟达今天在SC23上展示了下一波技术，将使全球科学和工业研究中心的性能和能效水平提升到新的高度。
“英伟达的硬件和软件创新正在创造一类新的AI超级计算机，”该公司高性能计算和超大规模数据中心业务副总裁Ian Buck在会议上的特别演讲中表示。
其中一些系统将搭载内存增强型NVIDIA Hopper加速器，其他系统将采用新的NVIDIA Grace Hopper系统架构。所有系统都将利用扩展的并行能力运行全套加速软件，包括生成AI、HPC和混合量子计算。
Buck将新推出的NVIDIA HGX H200描述为“世界领先的AI计算平台。”
它最多可搭载141GB的HBM3e内存，是首个使用超快技术的AI加速器。与上一代加速器相比，NVIDIA H200 Tensor Core GPU在运行GPT-3等模型时性能提升了18倍。
在其他生成AI基准测试中，它们在Llama2-13B大型语言模型（LLM）上每秒能处理12,000个令牌。
Buck还透露了一种服务器平台，该平台在NVIDIA NVLink互连的基础上将四个NVIDIA GH200 Grace Hopper超级芯片连接在一起。这个四重配置在一个单独的计算节点上提供了288个Arm Neoverse核心和高达16亿亿次AI性能，配备高达2.3TB的高速内存。
通过展示其高效性，Buck表示，使用NVIDIA TensorRT-LLM开源库的一个GH200超级芯片比双插槽x86 CPU系统快100倍，能效几乎是X86 + H100 GPU服务器的两倍。
“加速计算是可持续计算，”Buck说。“通过利用加速计算和生成AI的强大能力，我们可以在降低对环境的影响的同时，在各个行业推动创新。”
英伟达搭建了49个最新TOP500系统中的38个
最新的TOP500超级计算机排行榜反映了向加速、高能效超级计算的转变。
借助由NVIDIA H100 Tensor Core GPU提供动力的新系统，英伟达在这些世界领先的系统上提供了超过2.5亿亿次的HPC性能，比5月份的排名中的1.6亿亿次有所增加。英伟达在前10名中已经贡献了近1亿亿次的HPC和72亿亿次的AI性能。
新的列表包含有史以来使用NVIDIA技术最多的系统，379台，而五月份的数据是372台，其中包括49台新超级计算机中的38台。
Microsoft Azure以其使用H100 GPU和NDv5实例的Eagle系统位居第3位，性能达到561 petaflops。巴塞罗那的Mare Nostrum5排名第8，而最近在MLPerf基准测试中创下新的AI训练记录的NVIDIA Eos位居第9。
NVIDIA GPU在Green500榜单上为前30个系统的23个提供动力，展现了它们的能效。它们以基于H100 GPU的Henri系统保持第一名，为纽约的Flatiron研究所提供每瓦特65.09 gigaflops的性能。
Gen AI探索COVID
阿贡国家实验室使用NVIDIA的生物分子LLMs生成AI平台NVIDIA BioNeMo开发了名为GenSLMs的模型，可以生成与冠状病毒真实变种密切相似的基因序列。利用NVIDIA GPU和150万个COVID基因组序列的数据，它还能快速识别新的病毒变种。
去年该项目获得了Gordon Bell特殊奖，并在超级计算机上进行了训练，包括阿贡国家实验室的Polaris系统，美国能源部的Perlmutter和NVIDIA的Selene。
“这只是冰山一角——生成式AI将继续重新定义科学探索的范围，未来充满了可能性，”NVIDIA医疗保健副总裁Kimberly Powell在特别地址中表示。
节省时间、金钱和能源
Buck表示，使用最新技术，加速工作负载可以实现系统成本和能耗的数量级减少。
例如，西门子与梅赛德斯合作，分析其新款电动EQE车型的空气动力学和相关声学特性。使用最新的NVIDIA H100 GPU，与在CPU集群上花费数周的模拟计算相比，速度显著提升。此外，Hopper GPU让他们将成本降低了3倍，能源消耗降低了4倍（如下）。
明年开始启动的200 Exaflops
科学和工业进步将来自世界各个角落，最新系统正在投入使用。
Buck说：“我们已经看到组装在Grace Hopper超级计算机上的200个exaflops的AI合计将于2024年投入生产。”其中包括德国Jülich中心的巨大JUPITER超级计算机。它在AI训练方面可以提供93个exaflops的性能，在HPC应用方面提供1个exaflop的性能，同时只消耗18.2兆瓦的电力。
JUPITER将基于Eviden的BullSequana XH3000液冷系统，使用NVIDIA四路GH200系统架构和NVIDIA Quantum-2 InfiniBand网络技术，用于气候和天气预测、药物研发、混合量子计算和数字孪生。JUPITER四路GH200节点将配置864GB的高速内存。
这是NVIDIA在SC23上宣布的几台新的Grace Hopper超级计算机之一。
惠普企业(Hewlett Packard Enterprise)的HPE Cray EX2500系统将使用四个GH200来为明年上线的许多人工智能超级计算机提供动力。
例如，HPE使用四个GH200来为日本筑波大学和东京大学共享的先进高性能计算系统OFP-II，以及将为美国超级计算应用中心的计算容量提高两倍的DeltaAI系统提供动力。
HPE还正在为洛斯阿拉莫斯国家实验室构建名为Venado的系统，这是美国部署的第一台GH200。此外，HPE还在中东、瑞士和英国构建GH200超级计算机。
Grace Hopper在德克萨斯州及其他地区
在德克萨斯高级计算中心(Texas Advanced Computing Center, TACC) ，戴尔技术公司正在使用NVIDIA Grace Hopper和Grace CPU Superchips构建Vista超级计算机。
巴克说，超过100家全球企业和组织，包括NASA艾姆斯研究中心和Total Energies，已经购买了Grace Hopper的早期访问系统。
他们加入了之前宣布的GH200用户，例如SoftBank和布里斯托尔大学，以及拥有14000个NVIDIA A100 GPU的大规模Leonardo系统，为意大利Cineca联盟提供1艾克斯的AI性能。
来自超级计算中心的见解
全球各地的超级计算中心领导人分享了他们的计划和正在进行的工作，包括最新的系统。
“我们与瑞士国家超级计算中心的MeteoSwiss ECMWP以及ETH EXCLAIM和NVIDIA的Earth-2项目的科学家进行了合作，我们正在创建一个在大数据分析和极端规模计算的所有维度上都能推动界限的基础设施，”瑞士国家超级计算中心负责阿尔卑斯超级计算机的工作的Thomas Schultess说道。
“我们在各个领域都取得了令人印象深刻的能源效率提升，”TACC的执行主任Dan Stanzione在谈到Vista时说道。
他说：“这真的是将用户从过去我们所做的系统转移到这个新的Grace Arm CPU和Hopper GPU密切耦合的组合的垫脚石……我们计划在未来几年部署Horizon时将规模扩大到我们目前部署的大约10到15倍。”
加速量子之旅
研究人员还在利用当今的加速系统来开拓未来超级计算机的道路。
在德国，朱庇特(JUPITER)将“彻底改变气候、材料、药物发现和量子计算等领域的科学研究，”茹利希(Julich)量子信息处理研究团队的负责人Kristel Michelson说道。
她说：“朱庇特的体系结构还允许量子算法与并行HPC算法的无缝集成，这对于有效的量子HPC混合模拟是必不可少的。”
CUDA量子推动进展
特别演讲还展示了NVIDIA CUDA Quantum，这是一个用于编程CPU、GPU和量子计算机，也被称为QPUs的平台，如何推动量子计算领域的研究。
例如，全球最大化学公司巴斯夫(BASF)的研究人员开创了一种新的混合量子-经典方法，用于模拟能够保护人类免受有害金属的化学物质。他们与布鲁克黑文国家实验室和HPE的研究人员分别使用CUDA Quantum推动科学的前沿。
NVIDIA还宣布与量子编程工具开发商Classiq合作，在以色列最大的教学医院特拉维夫索拉斯基医学中心创建一个生命科学研究中心。该中心将使用Classiq的软件和在NVIDIA DGX H100系统上运行的CUDA Quantum。
而Quantum Machines将在以色列国家量子中心部署第一台NVIDIA DGX Quantum，这是一种使用Grace Hopper Superchips的系统，旨在推动科学领域的进步。该DGX系统将与Quantware的超导QPU和ORCA Computing的光子QPU连接在一起，两者都由CUDA Quantum提供动力。
“在短短两年时间内，我们的NVIDIA量子计算平台已经聚集了120多个合作伙伴[如上图]，这证明了它的开放、创新的平台特点，”Buck说道。
总体而言，这些领域的工作揭示了一个新的趋势，即将数据中心规模的加速计算与NVIDIA的全栈创新相结合。
他总结道：“加速计算正在为可持续计算铺平道路，通过提供不仅令人惊叹的技术，而且能够创造更可持续和有影响力的未来。”
请观看NVIDIA的SC23特别演讲：链接