大型语言模型的开发即将达到超音速速度，这要归功于NVIDIA和Anyscale的合作。 在其年度Ray Summit开发者大会上，Anyscale——快速增长的可扩展计算的开源统一计算框架背后的公司——今天宣布将NVIDIA AI引入Ray开源和Anyscale平台。它还将集成到Anyscale Endpoints中，这是一项今天宣布的新服务，可方便应用开发人员使用最流行的开源模型在其应用程序中以具有成本效益的方式嵌入LLMs。 这些集成可以显著加速生成式AI的开发和效率，同时提高生产AI的安全性，从专有的LLMs到诸如Code Llama、Falcon、Llama 2、SDXL等开源模型。 开发人员可以灵活选择使用Ray部署开源NVIDIA软件，或选择在Anyscale平台上运行NVIDIA AI企业软件，以进行全面支持和安全的生产部署。 Ray和Anyscale平台被广泛用于开发人员构建用于生成式AI应用程序的先进LLMs，这些应用程序可以驱动智能聊天机器人、编码协助和强大的搜索和摘要工具。 NVIDIA和Anyscale提供速度、节省和效率 生成式AI应用引起了全球企业的关注。调整、增强和运行LLMs需要大量的投资和专业知识。NVIDIA和Anyscale共同努力，可以通过多种应用集成帮助降低生成式AI开发和部署的成本和复杂性。 上周宣布的新的开源软件NVIDIA TensorRT-LLM将支持Anyscale的产品，以提高LLM的性能和效率，从而实现成本节约。在NVIDIA AI企业软件平台中也得到支持，Tensor-RT LLM可自动扩展推理以在多个GPU上并行运行模型，与上一代GPU相比，可以在运行NVIDIA H100 Tensor Core GPU时提供高达8倍的性能。 TensorRT-LLM可以自动扩展推理以在多个GPU上并行运行模型，并包括用于各种流行LLM模型的自定义GPU内核和优化。它还实现了NVIDIA H100 Tensor Core…
Leave a CommentTag: Inference
Bill Dally是世界上最杰出的计算机科学家之一，也是NVIDIA研究工作的负责人。他将在Hot Chips大会的主题演讲中描述推动加速计算和人工智能的力量。Hot Chips是一年一度的领先处理器和系统架构师聚会。 Dally将详细介绍GPU芯片、系统和软件的进展，这些进展为各种应用带来了前所未有的性能提升。演讲将展示如何利用混合精度计算、高速互连和稀疏性等技术将推动生成式人工智能的大语言模型提升到新的水平。 “现在是成为计算机工程师的非常激动人心的时刻，” Dally在2月份入选硅谷工程理事会名人堂时如是说道。 Dally的主题演讲将于8月29日上午9点PT开启Hot Chips的第三天。可以在线注册参加虚拟活动。位于帕洛阿尔托的斯坦福大学的现场活动已经售罄。 Dally的职业涵盖近四十年，他开创了许多构成当今超级计算机和网络架构的基础技术。作为NVIDIA研究部门的负责人，他领导着一个由全球300多名发明家组成的团队，致力于发明各种应用的技术，包括人工智能、高性能计算、图形和网络。 在2009年加入NVIDIA之前，他曾担任斯坦福大学计算机科学系主任长达四年之久。 Dally是美国国家工程院的院士，也是美国艺术与科学院、电气和电子工程师学会以及计算机协会的会士。他撰写了四本教科书，发表了250多篇论文，拥有120多项专利，并获得了IEEE Seymour Cray奖、ACM Eckert-Mauchly奖和ACM Maurice Wilkes奖。 NVIDIA在Hot Chips的更多演讲 在另一场Hot Chips演讲中，NVIDIA网络副总裁Kevin Deierling将描述NVIDIA BlueField DPUs和NVIDIA Spectrum网络交换机在根据不断变化的网络流量和用户规则分配资源方面的灵活性。…
Leave a Comment在疫情以来的首次现场主题演讲中，NVIDIA的创始人兼CEO黄仁勋今天在台北举行的COMPUTEX大会上宣布了一些平台，这些平台可以帮助公司乘风破浪，参与到一波历史性的生成式人工智能浪潮中，这个浪潮正在改变从广告到制造业再到电信等行业。 “我们回来了，”黄仁勋在他的家中厨房进行了几年的虚拟主题演讲之后在舞台上大声喊道。“我已经有将近四年没有公开演讲了–祝我好运！” 他向约3500名观众演讲了近两个小时，介绍了加速计算服务、软件和系统，这些都使新的商业模式成为可能，也让现有的商业模式更加高效。 “加速计算和人工智能标志着计算机的重新发明，”黄仁勋说道，他在过去一周在家乡的旅行每天都被当地媒体追踪报道。 为了展示它的强大，他使用了他所在的巨大的8K墙，展示了一个文本提示，生成了一首主题歌，可以随意地唱，就像任何卡拉OK歌曲一样。黄仁勋偶尔用他的家乡语言和观众开玩笑，并短暂地带领观众唱了这首新歌。 “现在我们处于一个新的计算时代的临界点，加速计算和人工智能已经被全球几乎所有的计算和云计算公司所接受，”他说道，指出现在有40,000家大型公司和15,000家初创公司使用NVIDIA技术，去年CUDA软件下载量达到2500万次。 主题演讲的重要新闻公告 Grace Hopper提供大内存超级计算机，用于生成式人工智能。 模块化参考架构可以创建100多个加速服务器变体。 WPP和NVIDIA在Omniverse中创建数字广告内容引擎。 SoftBank和NVIDIA在日本建立5G和生成式人工智能数据中心。 网络技术加速基于以太网的人工智能云。 NVIDIA ACE for Games利用生成式人工智能为角色赋予生命。 全球的电子制造商都在使用NVIDIA人工智能。 企业人工智能的新引擎 对于需要最佳人工智能性能的企业，他推出了DGX GH200，一个大内存人工智能超级计算机。它使用NVIDIA NVLink将多达256个NVIDIA GH200 Grace Hopper超级芯片组合成一个单一的数据中心大小的GPU。…
Leave a Comment