加拿大安大略省的多伦多皮尔逊国际机场是该国最大、最繁忙的机场，每年为约5000万名乘客提供服务。 为了提升旅客体验，机场于6月份部署了Zensors AI平台，该平台利用现有安全摄像头的匿名化镜头内容生成空间数据，以实时优化运营。 Zensors是NVIDIA Metropolis视觉AI合作伙伴生态系统的成员之一，帮助多伦多皮尔逊机场的运营团队大幅减少海关排队时间，将乘客在2022年高峰期从估计的30分钟减少到去年夏天不到6分钟。 公司联合创始人兼产品和技术负责人Anuraag Jain表示：“Zensors让所有人都能轻松使用视觉AI。” 对于大多数组织来说，扩展多模态、基于转换器的AI并不容易，Jain补充道，因此机场通常会按照传统的、效果较差的解决方案进行选择，基于硬件传感器、激光雷达、3D立体摄像头进行改进，或者通过翻新或建设新的航站楼来改善运营，这可能是耗资数十亿美元的项目。 Jain表示：“我们提供一个平台，让机场更像软件公司，利用现有摄像头和最新的AI技术，快速、廉价、准确地部署解决方案。” 加速机场运营 为了满足不断增长的旅行需求，多伦多皮尔逊需要一种方法，能在几周内改善运营，而不是通常需要数月或数年的时间来升级或建设新的航站楼基础设施。 Zensors AI平台在机场的两个航站楼监测了20多条海关通道，提供了这样一个解决方案。它将机场现有摄像系统的视频转换为结构化数据。 利用匿名化的镜头内容，该平台计算排队人数、识别拥堵区域、预测乘客等待时间等任务，并实时提醒员工以加快操作。 该平台还提供分析报告，帮助运营团队评估绩效、更有效地规划并重新部署人员以实现最佳效率。 除了为机场运营商提供数据驱动的见解外，Zensors AI的实时等待时间统计数据还会发布在多伦多皮尔逊的在线仪表板上，以及航站楼的电子显示屏上。这让乘客可以轻松获取有关海关或安检流程所需时间的准确信息，全面提升客户满意度，并减少对于能否及时乘上联程航班的担忧。 “我们从Zensors平台获得的分析结果证明非常准确，”多伦多皮尔逊机场的管理公司，大多伦多机场管理局的机场IT规划和发展主管Zeljko Cakic表示。“我们的目标是提高整体客户体验和减少等待时间，而通过Zensors平台收集的数据是推动这些结果的重要因素之一。” NVIDIA驱动的准确AI Zensor AI使用视觉转换器模型来提供准确的见解，其准确度与人工手动验证信息相比约为96%。这一切都由NVIDIA技术驱动。 Jain表示：“Zensors模型开发和推断运行时堆栈实际上就是NVIDIA AI堆栈。” 该公司使用NVIDIA的GPU和CUDA并行计算平台来训练其AI模型，还使用基于深度神经网络的加速库cuDNN和用于解码和增强图像和视频的NVIDIA…
Leave a CommentTag: Customer Stories
为何GPU在人工智能领域表现出色
GPU被称为人工智能的稀土金属，甚至是黄金，因为它们是当今生成式人工智能时代的基石。 三个技术原因以及许多故事解释了为什么会这样。每个原因都有多个值得探索的方面，但总体上有： GPU采用并行处理。 GPU系统可扩展到超级计算高度。 用于人工智能的GPU软件堆栈既广泛又深入。 总的结果是，GPU比CPU以更高的能效计算技术，并且更快地执行计算。这意味着它们在人工智能训练和推理方面提供领先的性能，并且在使用加速计算的各种应用中都能获得收益。 在斯坦福大学的人工智能人本中心发布的最新报告中提供了一些背景信息。报告中指出，GPU性能“自2003年以来增加了约7000倍”，每单位性能的价格“增加了5600倍”。 2023年的报告展示了GPU性能和价格/性能的急剧上升。 报告还引用了独立研究团体Epoch的分析和预测人工智能进展的数据。 Epoch在其网站上表示：“GPU是加速机器学习工作负载的主要计算平台，在过去五年中，几乎所有最大的模型都是在GPU上训练的… 从而对AI的最新进展做出了重要贡献。” 一份为美国政府评估人工智能技术的2020年研究得出了类似的结论。 “当计算生产和运营成本计算在内时，我们预计[前沿]人工智能芯片的成本效益比领先节点的CPU高出一个到三个量级，”研究报告中说。 在Hot Chips，一年一度的半导体和系统工程师聚会上，NVIDIA公司的首席科学家比尔·达利在一个主题演讲中表示，NVIDIA GPU在过去十年中在AI推理方面的性能提升了1000倍。 ChatGPT传播新闻 ChatGPT为GPU在人工智能方面的优势提供了一个强有力的例子。这个大型语言模型(LLM)是在数千个NVIDIA GPU上训练和运行的，用于服务超过1亿人使用的生成式AI。 自2018年推出以来，作为人工智能的行业标准基准，MLPerf详细记录了NVIDIA GPU在人工智能训练和推理中的领先性能。 例如，NVIDIA Grace Hopper超级芯片在最新一轮推理测试中表现优异。自那次测试以来，推出的推理软件NVIDIA TensorRT-LLM性能提升了8倍以上，能源使用和总拥有成本降低了5倍以上。事实上，自2019年基准测试发布以来，NVIDIA…
Leave a CommentNVIDIA为一些最大的亚马逊Titan基础模型提供训练能力
关于大型语言模型的一切都是巨大的——巨大的模型在数千个NVIDIA GPU上的大规模数据集上进行训练。 这对于追求生成式人工智能的公司来说会带来很多大的挑战。 NVIDIA NeMo是一个构建、定制和运行LLM的框架，有助于克服这些挑战。 亚马逊网络服务的一支由经验丰富的科学家和开发人员组成的团队正在创建Amazon Titan为Amazon Bedrock提供基础模型，后者是一项基于基础模型的生成式人工智能服务，并在过去的几个月中一直使用NVIDIA NeMo。 “与NeMo合作的一个重要原因是它的可扩展性，它具有优化功能，可以在高GPU利用率下运行，并使我们能够扩展到更大的集群，以便我们能够更快地训练和交付模型给我们的客户，”亚马逊网络服务的高级应用科学家Leonard Lausen说。 融入大规模环境 NeMo中的并行技术使得大规模LLM的训练更加高效。与AWS的弹性适配器相结合，可以将LLM分散到多个GPU上加速训练。 EFA提供了一个UltraCluster网络基础设施，可以直接连接超过10,000个GPU，并通过NVIDIA GPUDirect绕过操作系统和CPU。 这种组合使得AWS的科学家们能够提供优秀的模型质量，这是仅依赖数据并行化方法无法实现的。 适用于各种规模的框架 “NeMo的灵活性，”Lausen说，“使得AWS能够根据新的Titan模型、数据集和基础设施的特点来定制训练软件。” AWS的创新包括从Amazon Simple Storage Service（Amazon S3）到GPU集群的高效流处理。“由于NeMo基于像PyTorch Lightning这样的流行库构建，这些改进很容易融入其中，这些库标准化了LLM训练流程组件，”Lausen说。 AWS和NVIDIA的目标是吸取他们的合作所学，为顾客带来像NVIDIA…
Leave a Comment“新一代加速、高效的人工智能系统标志着超级计算的下一个时代”
英伟达今天在SC23上展示了下一波技术，将使全球科学和工业研究中心的性能和能效水平提升到新的高度。 “英伟达的硬件和软件创新正在创造一类新的AI超级计算机，”该公司高性能计算和超大规模数据中心业务副总裁Ian Buck在会议上的特别演讲中表示。 其中一些系统将搭载内存增强型NVIDIA Hopper加速器，其他系统将采用新的NVIDIA Grace Hopper系统架构。所有系统都将利用扩展的并行能力运行全套加速软件，包括生成AI、HPC和混合量子计算。 Buck将新推出的NVIDIA HGX H200描述为“世界领先的AI计算平台。” NVIDIA H200 Tensor Core GPU配备HBM3e内存，可运行不断增长的生成AI模型。 它最多可搭载141GB的HBM3e内存，是首个使用超快技术的AI加速器。与上一代加速器相比，NVIDIA H200 Tensor Core GPU在运行GPT-3等模型时性能提升了18倍。 在其他生成AI基准测试中，它们在Llama2-13B大型语言模型（LLM）上每秒能处理12,000个令牌。 Buck还透露了一种服务器平台，该平台在NVIDIA NVLink互连的基础上将四个NVIDIA GH200 Grace…
Leave a Comment将游戏提升一个档次：初创公司运动视觉人工智能将全球的田径比赛广播出来
通过视觉AI，Pixellot正在为组织更轻松地向全球观众提供实时体育广播和分析。 作为NVIDIA Metropolis视觉AI合作伙伴生态系统的成员，这家位于特拉维夫附近的公司提供了一种基于AI的平台，自动化捕捉、流媒体和分析体育赛事。 它正在改变几乎20种不同体育运动的球迷、教练和运动员的游戏规则——不仅仅是篮球和足球，还有橄榄球和手球——因为它在70多个国家的30,000多个场馆广播赛事并提供分析。在美国，Pixellot通过与NFHS Network的合作每年支持超过一百万场比赛的直播和点播，NFHS Network是高中体育直播和点播领域的领导者。 通过其与NFHS Network、MLB和其他合作伙伴一起，Pixellot提供专业的分析、赛后分解和以球衣号码为基础的亮点，包括射门图和热力图——这对学校和职业运动员以及教练来说特别有用，他们可以通过研究自己的动作来提高比赛水平。它还提供互动体验，用户可以操作画面并剪辑自己的比赛亮点。 最近，位于南非开普敦的公司SuperSport Schools部署了Pixellot平台，为全国广播学生体育赛事，在南非有超过1,500所高中参与体育运动。 “我们的目标是借助AI和自动化手段使体育赛事的报道民主化，”Pixellot市场营销负责人Yossi Tarablus说道，Pixellot是NVIDIA Inception计划的成员，该计划致力于支持尖端初创企业。“Pixellot使用NVIDIA Jetson边缘AI平台，向世界上一些最为偏远的地区提供了强大的体育广播和分析技术。” Pixellot的工作原理 Tarablus表示，每个月大约有200,000场比赛在全球范围内使用Pixellot平台进行广播的高峰期。 由NVIDIA Jetson驱动的轻便Pixellot摄像机捕捉高质量的游戏、比赛甚至训练视频，并通过应用程序实时以高清形式向用户进行直播，包括覆盖的比分板、实时统计数据、评论等。 该平台创建了一个模拟摄像机操作员的自动视图框架，利用NVIDIA RTX光线追踪技术优化视频并校正场景照明。 此外，该平台帮助组织和公司将体育赛事盈利，并使其更容易为观众所接触，因为它支持OTT（互联网传输）流媒体——直接通过互联网进行流媒体传输，无需传统有线电视或卫星电视供应商。 在其所有摄像机设置中，Metropolis成员使用NVIDIA DeepStream软件开发套件进行基于AI的视频流分析。而且该公司依赖NVIDIA TensorRT SDK进行高性能深度学习推理。…
Leave a Comment“强大的遗产：研究员的母亲激发了对核聚变的热情”
编辑注：这是系列文章的一部分，介绍了利用高性能计算推进科学研究的研究人员。 还在上高中之前，葛东就想成为像她妈妈一样的物理学家，她的妈妈是上海交通大学的教授。 “她说清洁能源对于人类的持续发展非常重要，她经常谈论这个问题，”葛东说（上图为她两岁时和妈妈在一起的照片）。 葛东 现年32岁的她正在一家初创公司追寻这个梦想，希望通过高性能计算和人工智能找到商业化的核聚变道路。 物理学中的人工智能先驱 2014年，她的一生的工作将她从上海带到了普林斯顿大学著名的等离子物理实验室，她在那里获得了博士学位。 她的博士论文基于普林斯顿的同事们的进展。他们是第一个使用人工智能预测可能导致聚变反应堆故障的等离子体干扰的人。 葛东的工作揭示了比太阳表面更热的等离子体边缘在一个名为托卡马克的环形封闭设备内的行为。 后来，她与同事和英伟达专家共同工作了一年多的时间，利用英伟达Omniverse创建了一个数字孪生体，展示了等离子体在托卡马克内部的循环。通过使用人工智能，这一努力大大降低了基于传统数值计算方法的模拟成本。 https://blogs.nvidia.com/wp-content/uploads/2023/09/OV-sim-of-ppl-tokamak.mp4 这些结果可能有助于工程师构建能够安全地将超热等离子体保持在未来发电厂内的控制系统，加速清洁能源的到来。 一个关键的谈话 在新冠疫情封锁期间，葛东回到了上海在家工作。在2021年，她与朋友周阳进行了一次关键的对话，决定共同创办能源奇点（Energy Singularity），一个野心勃勃的初创公司。 周阳表示他想要建造一个托卡马克。当她对这个数十亿美元的想法不屑一顾时，他详细解释了一项成本要低得多的计划。 能源奇点团队与他们的超导磁体 然后他解释了为什么他想采用一种在研究人员中很受欢迎的方法，使用高温超导磁体来控制等离子体。尽管他学习的是物理学的一个分支，但他可以从根本方程开始解释这一理论的基础。 在他们的对话之后，“我太兴奋了，整夜都没睡觉，”她对这个大胆的计划说。 几个月后，他们与其他三个人一起创办了这家公司。 对人工智能的新挑战 学习如何构建和控制强大而脆弱的磁体是这家初创公司的主要技术挑战。团队正在利用高性能计算和人工智能寻找解决方案。 “这是一个全新的研究领域，可以利用统计分析加速AI的发展，以实现最有效和最低成本的方法，”她说。 这家初创公司已经在办公室内的一台英伟达加速服务器上设计其原型。 “我们一直在使用英伟达的GPU进行研究，它们是当今等离子物理学中最重要的工具之一，”她说。…
Leave a Comment“物联网公司的智能视频分析平台与AI在班加罗尔机场合作成功降落”
每年有近3200万人通过孟加拉国际机场（BLR），这是世界上人口最多的国家中最繁忙的机场之一。 为了为这么多人提供更安全、更快捷的体验，这座位于原名班加罗尔的城市的机场正在利用由Industry.AI提供支持的视觉AI技术。 作为NVIDIA Metropolis视觉AI合作伙伴生态系统的成员，Industry.AI已经在BLR最新的T2航站楼（也被称为花园航站楼，因为它拥有室内花园和瀑布）部署了其视觉AI平台。这是印度机场规模上的智能视频分析的首批部署之一。 BLR最新航站楼中的绿化。 Industry.AI通过使用视觉AI和目标检测来追踪遗弃的行李、标记长队并向安全团队发出潜在问题的警报等应用案例，提高了航站楼的运营安全性和效率。 通过使用视觉AI识别拥堵点并预测延误，工作人员可以主动将乘客引导到人流较少的区域，或者提供信号以开放额外的检查点，从而减少等待时间，提升乘客体验。 “在这个规模上部署视觉AI对我们来说是第一次，”BLR母公司的首席信息官George Fanthome表示。“通过采用这些先进的深度学习技术，我们力争成为世界上最好的机场之一，并为我们的客户提供最佳体验。” 更智能、更安全的机场运营 Industry.AI平台将BLR航站楼的500多个实时摄像头连接到视觉AI技术，可以实时完成近十几项任务。 首先，该平台可以检测到行李或钱包被遗忘。 它还有助于管理航站楼入口、办理登机手续柜台、安检通道和其他区域的乘客排队。机场工作人员可以根据AI平台收集的乘客运动的历史数据，主动进行任务。 Industry.AI首席执行官Tejpreet Chopra表示：“我们的平台通过实时可视化和传感器反馈的仪表板，加快了高峰运营时段的乘客流动速度，向机场工作人员提醒排队时间超过最佳时间。”。“这样可以使机场工作人员在最短的时间内对情况做出响应。” 未经授权的人员和车辆在机场也可以被实时跟踪并向平台的用户发出警报，以增强安全性。此外，Industry.AI还可以检测到航站楼外部车辆的超速违规行为，有助于管理旅行枢纽周围的安全交通。 AI帮助管理BLR内外交通。 Industry.AI使用NVIDIA TAO Toolkit和A100 Tensor Core GPU来训练其AI模型。对于AI推理，该公司使用NVIDIA Triton Inference…
Leave a Comment想象一下：创作者可以借助Shutterstock的尖端工具，快速创建和定制3D场景背景，利用生成式人工智能的帮助。 这家视觉内容提供商正在使用基于云的NVIDIA Picasso构建服务，用于开发用于视觉设计的生成式人工智能模型。 这项工作结合了Picasso的最新功能——在NVIDIA创始人兼首席执行官Jensen Huang的SIGGRAPH主题演讲中宣布——该功能将帮助艺术家根据简单的文本或图像提示增强和照明3D场景，所有这些都是使用完全许可、保留权利的数据构建的AI模型。 基于这些提示，新的生成AI功能快速生成定制的360度、8K分辨率、高动态范围成像（HDRi）环境贴图，艺术家可以使用这些贴图设置背景和照明场景。 这扩展了NVIDIA与Shutterstock的合作，为下一代数字内容创作工具赋能，并加速3D模型生成。 为了满足电影、游戏、虚拟世界、广告等领域对沉浸式视觉的不断增长需求，3D艺术家群体正在迅速扩大，过去一年增长了20%以上。 其中许多艺术家正在利用生成式人工智能来增强他们复杂的工作流程，并将能够利用这项技术快速创建和定制环境贴图。这使他们有更多时间来处理英雄级3D资产，这些是观众关注的3D场景的主要资产。在创建引人注目的3D视觉效果时，这产生了巨大的差异。 “我们致力于超强能力地支持3D艺术家和合作者，帮助他们比以往更快地构建他们所设想的沉浸式环境，并利用NVIDIA Picasso简化他们的内容创作工作流程，”Shutterstock的3D创新副总裁Dade Orgeron说道。 生成逼真的环境贴图 以前，艺术家需要购买昂贵的360度摄像机来从头开始创建背景和环境贴图，或者选择固定选项，这些选项可能与他们的3D场景不完全匹配。 现在，用户只需提供一个提示——无论是文本还是参考图像——基于Picasso构建的360 HDRi服务将快速生成全景图像。此外，由于生成式人工智能的帮助，定制的环境贴图可以自动匹配输入为提示的背景图像。 用户随后可以自定义贴图，并快速迭代想法，直到实现他们想要的效果。 合作推动3D世界建设 Autodesk是媒体和娱乐领域的3D软件和工具提供商，致力于为艺术家提供激发和取悦全球观众的创造自由。 通过将基于Picasso的基础模型开发的生成式人工智能内容创作服务与其广受欢迎的3D软件Maya集成，Autodesk使艺术家能够将平凡的任务交给无限创造力，并最终更快地产生内容。 通过AI为Autodesk客户的工作流程提供增强，艺术家可以专注于创作，并最终更快地生成内容。 生成式人工智能模型工厂 Picasso是NVIDIA AI Foundations的一部分，该部门推动企业级生成式人工智能的发展，包括文本、视觉内容甚至生物学。…
Leave a CommentNVIDIA NeMo与初创公司合作，创造了生成式人工智能的成功故事
机器学习帮助了Waseem Alshikh在大学中翻阅教科书。现在，他正在利用生成式人工智能为数百家公司创建内容。 Alshikh出生并长大在叙利亚，他不会讲英语，但对软件非常熟悉，这个才能在他进入黎巴嫩的大学时对他非常有帮助。 “第一天他们给了我一堆教科书，每本都有一千页，而且都是用英语写的，”他回忆道。 所以，他写了一个程序——一个简单但有效的统计分类器来总结这些书籍——然后他学习了这些总结。 从概念到公司 2014年，他与在迪拜工作时认识的企业家May Habib分享了他的故事。他们约定创建一家初创公司，利用机器学习帮助市场部门——这些部门总是面临做更多事情用更少资源的压力——快速创建网页、博客、广告等内容。 “起初，技术还不成熟，直到变形金刚模型被宣布出来——我们可以在这个基础上进行开发，”这家初创公司的首席技术官Alshikh说。 作家兼联合创始人Habib，首席执行官，和Alshikh，首席技术官。 “我们找到了几名工程师，花了将近六个月的时间构建我们的第一个模型，一个几乎无法工作且具有大约1.28亿参数的神经网络，这是衡量AI模型能力的常用指标之一。” 在发展过程中，这家年轻的公司赢得了一些业务，改名为Writer，并与NVIDIA建立了联系。 加速的初创公司 “一旦我们接触到NVIDIA NeMo，我们就能够用三个、然后是20个，现在是40亿个参数构建工业级模型，而且我们还在不断扩展，”他说。 NeMo是一个应用框架，帮助企业整理训练数据集，构建和定制大型语言模型（LLMs），并在生产中进行规模化运行。从韩国到瑞典的组织都在使用它来为本地语言和行业定制LLMs。 “在使用NeMo之前，我们花了四个半月的时间构建一个新的百亿参数模型。现在我们可以在16天内完成——这简直让人难以置信，”Alshikh说。 模型创造机会 今年上半年，这家初创公司的不到20名AI工程师使用NeMo开发了10个模型，每个模型都有300亿个或更多参数。 这意味着巨大的机会。现在有数百家企业使用Writer为金融、医疗保健、零售等垂直市场定制的模型。 Writer的Recap工具根据采访或活动的音频记录创建书面摘要。 这家初创公司的客户名单包括德勤、欧莱雅、Intuit、优步和许多财富500强公司。 Writer在NeMo上取得的成功只是故事的开始。许多其他公司已经下载了NeMo。 这个软件将很快对任何人都可用。它是NVIDIA AI…
Leave a CommentNVIDIA H100 GPU在首次发布的MLPerf基准测试中为生成式AI设定了标准
主流用户和行业标准基准测试都认为：NVIDIA H100 Tensor Core GPU 提供了最佳的 AI 性能，特别是在驱动生成式 AI 的大型语言模型（LLM）方面表现出色。 H100 GPU 在最新的 MLPerf 训练基准测试中的所有八个测试中都创下了新记录，尤其是在生成式 AI 的新 MLPerf 测试中表现出色。这种卓越的性能在单个加速器和大规模服务器上都能得到体现。 例如，由创业公司 Inflection AI 和专门从事 GPU 加速工作负载的云服务提供商…
Leave a Comment