大型语言模型的开发即将达到超音速速度，这要归功于NVIDIA和Anyscale的合作。 在其年度Ray Summit开发者大会上，Anyscale——快速增长的可扩展计算的开源统一计算框架背后的公司——今天宣布将NVIDIA AI引入Ray开源和Anyscale平台。它还将集成到Anyscale Endpoints中，这是一项今天宣布的新服务，可方便应用开发人员使用最流行的开源模型在其应用程序中以具有成本效益的方式嵌入LLMs。 这些集成可以显著加速生成式AI的开发和效率，同时提高生产AI的安全性，从专有的LLMs到诸如Code Llama、Falcon、Llama 2、SDXL等开源模型。 开发人员可以灵活选择使用Ray部署开源NVIDIA软件，或选择在Anyscale平台上运行NVIDIA AI企业软件，以进行全面支持和安全的生产部署。 Ray和Anyscale平台被广泛用于开发人员构建用于生成式AI应用程序的先进LLMs，这些应用程序可以驱动智能聊天机器人、编码协助和强大的搜索和摘要工具。 NVIDIA和Anyscale提供速度、节省和效率 生成式AI应用引起了全球企业的关注。调整、增强和运行LLMs需要大量的投资和专业知识。NVIDIA和Anyscale共同努力，可以通过多种应用集成帮助降低生成式AI开发和部署的成本和复杂性。 上周宣布的新的开源软件NVIDIA TensorRT-LLM将支持Anyscale的产品，以提高LLM的性能和效率，从而实现成本节约。在NVIDIA AI企业软件平台中也得到支持，Tensor-RT LLM可自动扩展推理以在多个GPU上并行运行模型，与上一代GPU相比，可以在运行NVIDIA H100 Tensor Core GPU时提供高达8倍的性能。 TensorRT-LLM可以自动扩展推理以在多个GPU上并行运行模型，并包括用于各种流行LLM模型的自定义GPU内核和优化。它还实现了NVIDIA H100 Tensor Core…
Leave a CommentTag: NVIDIA Hopper Architecture
一组顶尖科学家正在帮助引领计算史上最雄心勃勃的项目之一 —— 建立地球的数字孪生。 彼得·鲍尔、比约恩·斯蒂文斯和弗朗西斯科“帕科”·多布拉斯-雷耶斯一致认为，地球的数字孪生需要支持分辨率高达一公里，以便越来越多的用户可以探索气候变化的风险以及如何适应这些风险。他们表示，这项工作将需要加速计算、人工智能和大量的合作。 他们的巨大努力，其中一些已经使用了NVIDIA的技术，启发了地球2.0项目，这是NVIDIA为共同事业做出的贡献。 “我们将致力于将NVIDIA在计算科学领域的规模和专业知识直接用于与世界气候科学界的合作，投入我们的重要资源，” NVIDIA创始人兼首席执行官黄仁勋在2021年末宣布地球2.0计划时表示。 在前所未有的规模上进行合作 黄仁勋的承诺表明支持像“DestinE”这样的努力，该项目是一个欧洲跨国项目，旨在创建地球的数字孪生。 “可能没有一台单独的计算机足够完成这项工作，因此它需要一个分布式的、国际化的努力，”鲍尔说道。作为欧洲顶级天气预报中心的资深人员，他在这个旨在在2030年前提供全球规模模型的项目中担任领导者。 去年，他与他人合著了一篇《自然》杂志文章，称这项工作“需要前所未有的规模上的合作”。 鲍尔呼吁在新的地球信息系统上进行广泛的国际合作。 在三月的GTC演讲中，鲍尔设想了一个“动员来自多个国家的资源，包括私人机构，而NVIDIA可能是一个非常有趣的机构”的联合体。 彼得·鲍尔 这些资源将使得开发新的数值和机器学习模型成为可能，然后通过大规模推理作业运行这些模型，以进行跨越数十年的预测。 “DestinE”起源于2008年的一次气候会议。它是一系列项目的结晶，其中包括鲍尔在欧洲中程天气预报中心（总部位于英国雷丁）领导的许多项目，该中心开发了世界上一些最先进的天气预报模型。 每天使用一PB的数据 合作的规模很大，因为计算需求非常巨大。 弗朗西斯科·多布拉斯-雷耶斯 “我们每天要产生的数据量可能达到PB级，并且必须能够快速传输，”多布拉斯-雷耶斯说道。他是巴塞罗那超级计算中心地球科学部门的主任，也是政府间气候变化专门委员会的首席作者之一，该委员会负责发布一些关于气候变化的最权威报告，并且是“DestinE”项目的贡献者。 地球的数字孪生项目将颠覆传统的天气和气候预测方法，“让用户成为整个过程的驱动者，”他在NVIDIA的开发者大会GTC上的三月演讲中表示。目标是“让用户能够生成更有用的气候信息，以适应气候变化，”他说。 他的演讲描述了捕捉气候系统复杂特性所需的新模型、工作流程和系统。 阐述愿景 数字孪生的愿景在汉堡的SC20超级计算会议的主题演讲中得以明确，由马克斯·普朗克气象研究所的主任斯蒂文斯发表。他领导了世界顶级的气候应用天气模型之一的工作，以及一个旨在实现千米级分辨率模拟的项目，比目前最好的工作精确度高一个数量级。 “我们需要一种新型的计算能力……用于行星信息系统，让我们能够研究我们的行为和政策的后果，从而建立一个更可持续的未来，”他说。…
Leave a Comment在疫情以来的首次现场主题演讲中，NVIDIA的创始人兼CEO黄仁勋今天在台北举行的COMPUTEX大会上宣布了一些平台，这些平台可以帮助公司乘风破浪，参与到一波历史性的生成式人工智能浪潮中，这个浪潮正在改变从广告到制造业再到电信等行业。 “我们回来了，”黄仁勋在他的家中厨房进行了几年的虚拟主题演讲之后在舞台上大声喊道。“我已经有将近四年没有公开演讲了–祝我好运！” 他向约3500名观众演讲了近两个小时，介绍了加速计算服务、软件和系统，这些都使新的商业模式成为可能，也让现有的商业模式更加高效。 “加速计算和人工智能标志着计算机的重新发明，”黄仁勋说道，他在过去一周在家乡的旅行每天都被当地媒体追踪报道。 为了展示它的强大，他使用了他所在的巨大的8K墙，展示了一个文本提示，生成了一首主题歌，可以随意地唱，就像任何卡拉OK歌曲一样。黄仁勋偶尔用他的家乡语言和观众开玩笑，并短暂地带领观众唱了这首新歌。 “现在我们处于一个新的计算时代的临界点，加速计算和人工智能已经被全球几乎所有的计算和云计算公司所接受，”他说道，指出现在有40,000家大型公司和15,000家初创公司使用NVIDIA技术，去年CUDA软件下载量达到2500万次。 主题演讲的重要新闻公告 Grace Hopper提供大内存超级计算机，用于生成式人工智能。 模块化参考架构可以创建100多个加速服务器变体。 WPP和NVIDIA在Omniverse中创建数字广告内容引擎。 SoftBank和NVIDIA在日本建立5G和生成式人工智能数据中心。 网络技术加速基于以太网的人工智能云。 NVIDIA ACE for Games利用生成式人工智能为角色赋予生命。 全球的电子制造商都在使用NVIDIA人工智能。 企业人工智能的新引擎 对于需要最佳人工智能性能的企业，他推出了DGX GH200，一个大内存人工智能超级计算机。它使用NVIDIA NVLink将多达256个NVIDIA GH200 Grace Hopper超级芯片组合成一个单一的数据中心大小的GPU。…
Leave a Comment