关于大型语言模型的一切都是巨大的——巨大的模型在数千个NVIDIA GPU上的大规模数据集上进行训练。 这对于追求生成式人工智能的公司来说会带来很多大的挑战。 NVIDIA NeMo是一个构建、定制和运行LLM的框架，有助于克服这些挑战。 亚马逊网络服务的一支由经验丰富的科学家和开发人员组成的团队正在创建Amazon Titan为Amazon Bedrock提供基础模型，后者是一项基于基础模型的生成式人工智能服务，并在过去的几个月中一直使用NVIDIA NeMo。 “与NeMo合作的一个重要原因是它的可扩展性，它具有优化功能，可以在高GPU利用率下运行，并使我们能够扩展到更大的集群，以便我们能够更快地训练和交付模型给我们的客户，”亚马逊网络服务的高级应用科学家Leonard Lausen说。 融入大规模环境 NeMo中的并行技术使得大规模LLM的训练更加高效。与AWS的弹性适配器相结合，可以将LLM分散到多个GPU上加速训练。 EFA提供了一个UltraCluster网络基础设施，可以直接连接超过10,000个GPU，并通过NVIDIA GPUDirect绕过操作系统和CPU。 这种组合使得AWS的科学家们能够提供优秀的模型质量，这是仅依赖数据并行化方法无法实现的。 适用于各种规模的框架 “NeMo的灵活性，”Lausen说，“使得AWS能够根据新的Titan模型、数据集和基础设施的特点来定制训练软件。” AWS的创新包括从Amazon Simple Storage Service（Amazon S3）到GPU集群的高效流处理。“由于NeMo基于像PyTorch Lightning这样的流行库构建，这些改进很容易融入其中，这些库标准化了LLM训练流程组件，”Lausen说。 AWS和NVIDIA的目标是吸取他们的合作所学，为顾客带来像NVIDIA…
Leave a CommentTag: Cloud Services
英伟达今天推出了一项用于医学影像人工智能的云服务，通过完全托管的基于云的应用程序编程接口，进一步简化和加速地创建基准数据和训练专门的人工智能模型。 在芝加哥举行的北美放射学学会年会上宣布的英伟达MONAI云API——提供了一条加速开发人员和平台提供商将人工智能整合到医学影像产品中的快速路径。这些API使用英伟达和伦敦国王学院创办的开源MONAI项目构建。 医学影像在整个医疗保健领域至关重要，约占约90%的医疗数据。放射科医师和临床医生用它进行筛查、诊断和干预，生物药物研究人员用它评估临床试验患者对新药物的反应，医疗设备制造商用它提供实时决策支持。 在这些领域的工作规模需要一个专门的医学影像人工智能工厂——一个企业级平台，提供大规模的数据管理、创建基准注释、加速模型开发和建立无缝的人工智能应用部署。 通过英伟达MONAI云API，解决方案提供商可以更轻松地将人工智能整合到他们的医学影像平台中，使他们能够为放射科医师、研究人员和临床试验团队提供强大的工具，构建专门领域的人工智能工厂。这些API可以通过英伟达DGX Cloud AI超级计算服务的早期访问模式使用。 英伟达MONAI云API已经集成到Flywheel中，这是一个支持端到端人工智能开发工作流程的领先医学影像数据和人工智能平台。医学图像注释公司RedBrick AI和机器学习运营平台提供商Dataiku的开发人员正准备将英伟达MONAI云API整合到他们的产品中。 医学影像的即时数据标注和训练 构建高效、具有成本效益的人工智能解决方案需要一个健壮的、专门领域的开发基础，其中包括针对软件的全栈优化、可扩展的多节点系统和最先进的研究。它还需要高质量的基准数据，对于需要高级专业技能进行标注的3D医学影像来说，这可能是艰难而耗时的。 英伟达MONAI云API具备由VISTA-3D（Vision Imaging Segmentation and Annotation）基础模型驱动的交互式标注功能。它专为连续学习而设计，这一功能可根据用户反馈和新数据提高人工智能模型的性能。 VISTA-3D是通过对来自超过4000名患者的3D CT扫描图像进行注释数据集训练而得到的，涵盖了各种疾病和身体部位，可加速用于医学影像分析的3D分割掩模的创建。随着连续学习，人工智能模型的注释质量会随时间提高。 为了进一步加速人工智能训练，该版本还包括使基于MONAI预训练模型构建自定义模型变得无缝的API。英伟达MONAI云API还包括Auto3DSeg，它自动化了给定的3D分割任务的超参数调优和人工智能模型选择，简化了模型开发过程。 英伟达研究人员最近在MICCAI医学影像会议上使用Auto3DSeg赢得了四项挑战。其中包括用于分析肾脏和心脏的3D CT扫描的人工智能模型，以及用于大脑MRI和心脏的3D超声。 解决方案提供商和平台构建者拥抱英伟达MONAI云API 医学影像解决方案提供商和机器学习平台正在使用英伟达MONAI云API向客户提供至关重要的人工智能洞见，加速他们的工作。 Flywheel通过NVIDIA AI…
Leave a Comment如今，免费的开源大型语言模型（LLMs）的景象就像是一家任君选择的自助餐厅，满足企业的需求。对于开发者来说，这种丰富多样可能会让他们在构建定制的生成型人工智能应用程序时感到不知所措，因为他们需要满足独特的项目和业务需求，包括兼容性、安全性以及用于训练模型的数据。 NVIDIA AI Foundation Models 是一系列精心策划的企业级预训练模型，为开发者在企业应用中引入定制的生成型人工智能提供了快速的起步。 NVIDIA 优化的基础模型加速创新 NVIDIA AI Foundation Models 可以通过简单的用户界面或 API 直接从浏览器进行体验。此外，这些模型可以通过 NVIDIA AI Foundation Endpoints 进行访问，以便在企业应用中测试模型的性能。 可用的模型包括领先的社区模型，如 Llama 2、Stable Diffusion XL…
Leave a Comment在疫情以来的首次现场主题演讲中，NVIDIA的创始人兼CEO黄仁勋今天在台北举行的COMPUTEX大会上宣布了一些平台，这些平台可以帮助公司乘风破浪，参与到一波历史性的生成式人工智能浪潮中，这个浪潮正在改变从广告到制造业再到电信等行业。 “我们回来了，”黄仁勋在他的家中厨房进行了几年的虚拟主题演讲之后在舞台上大声喊道。“我已经有将近四年没有公开演讲了–祝我好运！” 他向约3500名观众演讲了近两个小时，介绍了加速计算服务、软件和系统，这些都使新的商业模式成为可能，也让现有的商业模式更加高效。 “加速计算和人工智能标志着计算机的重新发明，”黄仁勋说道，他在过去一周在家乡的旅行每天都被当地媒体追踪报道。 为了展示它的强大，他使用了他所在的巨大的8K墙，展示了一个文本提示，生成了一首主题歌，可以随意地唱，就像任何卡拉OK歌曲一样。黄仁勋偶尔用他的家乡语言和观众开玩笑，并短暂地带领观众唱了这首新歌。 “现在我们处于一个新的计算时代的临界点，加速计算和人工智能已经被全球几乎所有的计算和云计算公司所接受，”他说道，指出现在有40,000家大型公司和15,000家初创公司使用NVIDIA技术，去年CUDA软件下载量达到2500万次。 主题演讲的重要新闻公告 Grace Hopper提供大内存超级计算机，用于生成式人工智能。 模块化参考架构可以创建100多个加速服务器变体。 WPP和NVIDIA在Omniverse中创建数字广告内容引擎。 SoftBank和NVIDIA在日本建立5G和生成式人工智能数据中心。 网络技术加速基于以太网的人工智能云。 NVIDIA ACE for Games利用生成式人工智能为角色赋予生命。 全球的电子制造商都在使用NVIDIA人工智能。 企业人工智能的新引擎 对于需要最佳人工智能性能的企业，他推出了DGX GH200，一个大内存人工智能超级计算机。它使用NVIDIA NVLink将多达256个NVIDIA GH200 Grace Hopper超级芯片组合成一个单一的数据中心大小的GPU。…
Leave a Comment