强大的生成式AI模型、云原生API和微服务正在逐渐走向边缘。
生成式AI将转换模型和大型语言模型的优势带到了几乎所有行业。现在，这种影响力已经扩展到了涉及边缘、机器人和物流系统的领域：缺陷检测、实时资产跟踪、自主计划和导航、人机交互等。
NVIDIA今天宣布了两个在边缘AI和机器人技术领域的框架的重大扩展：NVIDIA的Isaac ROS机器人技术框架正式面向市场，NVIDIA Metropolis在Jetson平台上的扩展即将推出。
为了加快边缘AI应用的开发和部署，NVIDIA还建立了一个用于开发者使用的Jetson生成式AI实验室，供他们使用最新的开源生成式AI模型。
超过120万开发者和1万多个客户选择了NVIDIA AI和Jetson平台，其中包括亚马逊网络服务、思科、约翰迪尔、美敦力、百事可乐和西门子。
随着人工智能领域的快速发展，应对越来越复杂的场景，开发者面临着日益延长的开发周期来构建边缘AI应用的挑战。实时重新编程机器人和AI系统以满足不断变化的环境、制造流水线和客户的自动化需求是耗时且需要专业技能的。
生成式AI提供了零样本学习的能力，即模型能够识别训练过程中从未见过的特定东西，并结合自然语言界面，简化了边缘AI的开发、部署和管理。
改变人工智能领域
生成式AI通过理解人类语言提示来改变模型，极大地提高了易用性。这些AI模型在检测、分段、跟踪、搜索甚至重新编程方面更加灵活，并且能够优于传统的基于卷积神经网络的模型。
根据ABI Research的数据，生成式AI预计将在2033年为全球制造业增加105亿美元的收入。
NVIDIA的嵌入式和边缘计算副总裁Deepu Talla表示：“生成式AI将以比以往更好的泛化能力、易用性和更高的准确性显著加速边缘AI的部署。Metropolis和Isaac在Jetson上的这次最大规模的软件扩展，结合了转换模型和生成式AI的能力，满足了这一需求。”
在边缘开发生成式AI
Jetson生成式AI实验室为开发者提供了优化工具和教程，用于部署开源LLMs、扩散模型以生成令人惊叹的交互式图像、视觉语言模型（VLMs）和视觉Transformer（ViTs）结合视觉AI和自然语言处理，实现对场景的全面理解。
开发者还可以使用NVIDIA TAO Toolkit为边缘应用程序创建高效准确的AI模型。TAO提供了一个低代码界面，用于微调和优化视觉AI模型，包括ViT和视觉基础模型。他们还可以自定义和微调诸如NVIDIA NV-DINOv2或公共模型如OpenCLIP之类的基础模型，以用极少的数据创建高精度的视觉AI模型。TAO还引入了VisualChangeNet，这是一个用于缺陷检测的基于Transformer的新模型。
利用新的Metropolis和Isaac框架
NVIDIA Metropolis使企业更加轻松、更具成本效益地采用世界级的视觉AI解决方案，以提高关键的运营效率和安全性。该平台提供了一系列强大的应用程序编程接口和微服务，供开发者快速开发复杂的基于视觉的应用程序。
BMW集团、百事可乐、Kroger、泰森食品、Infosys和西门子等1000多家公司正在使用NVIDIA Metropolis开发者工具解决物联网、传感器处理和操作挑战，应用视觉AI，而且采用速度加快。这些工具已经被下载超过100万次，用于构建视觉AI应用。
为了帮助开发人员快速构建和部署可扩展的视觉AI应用程序，NVIDIA Jetson的Metropolis API和微服务将于年底提供更多扩展的功能。
数百个客户使用NVIDIA Isaac平台在不同领域开发高性能的机器人解决方案，包括农业、仓储自动化、最后一英里交付和服务机器人等。
在ROSCon 2023上，NVIDIA宣布了Isaac ROS和Isaac Sim软件的新版本的感知和模拟能力的重大改进。Isaac ROS是基于广泛采用的开源机器人操作系统（ROS）构建的，它为自动化带来了感知能力，为移动的事物提供了眼睛和耳朵。通过利用基于GPU加速的GEMs的能力，包括视觉里程计、深度感知、3D场景重构、定位和规划，机器人开发人员可以获得所需的工具，快速构建面向各种应用程序的机器人解决方案。
通过最新的Isaac ROS 2.0版本，Isaac ROS已达到生产就绪状态，使开发人员能够使用Jetson创建和推出高性能的机器人解决方案。
“ROS继续增长和发展，为整个机器人社区提供开源软件”，Open Source Robotics Foundation的CTO Geoff Biggs表示。“NVIDIA在此发布中推出的新的预构建ROS 2软件包，将使ROS 2得以迅速扩展到广大的NVIDIA Jetson开发人员社区。”
提供新的参考AI工作流程
开发一种可投入生产的AI解决方案涉及到优化针对特定用例的AI模型的开发和训练，在平台上实施可靠的安全功能，协调应用程序，管理车队，建立无缝的边缘到云通信等等。
NVIDIA宣布了基于Metropolis和Isaac框架的一套经过策划的AI参考工作流程集合，使开发人员能够快速采用整个工作流程或选择性地集成单个组件，从而大大减少开发时间和成本。这三个独立的AI工作流程包括：网络视频录制、自动光学检查和自主移动机器人。
“NVIDIA Jetson凭借其广泛和多样化的用户群和合作伙伴生态系统，推动了边缘机器人和AI的革命”，Tirias Research的首席分析师Jim McGregor说。“随着应用需求变得越来越复杂，我们需要在简化和加速边缘部署创建的平台上进行基础性转变。NVIDIA通过这个重要的软件扩展，使开发人员能够使用新的多传感器模型和生成式AI功能。”
更多即将到来
NVIDIA宣布了一系列系统服务，这些服务是构建边缘AI解决方案时每个开发人员都需要的基本功能。这些服务将简化与工作流程的集成，并使开发人员无需从头开始构建它们，免于繁琐的任务。
预计在年底推出的新的NVIDIA JetPack 6将使AI开发人员保持计算的前沿水平，无需进行完整的Jetson Linux升级，大大加快开发时间表，并使他们摆脱对Jetson Linux的依赖。JetPack 6还将与Linux发行版本合作扩展Linux-based发行选择的范围，包括Canonical的优化和认证Ubuntu、Wind River Linux、Concurrent实时Redhawk Linux和各种基于Yocto的发行版本。
合作伙伴生态系统受益于平台扩展
Jetson合作伙伴生态系统提供了从硬件、AI软件和应用程序设计服务到传感器、连接性和开发人员工具的广泛支持。这些NVIDIA合作伙伴网络创新者在提供市场上许多产品的构建模块和子系统方面发挥着重要作用。
最新版本使Jetson合作伙伴能够加速进入市场，并通过采用具有增强性能和功能的AI来扩大其客户群。
独立软件供应商合作伙伴也将能够为Jetson扩展其产品。
加入我们于11月7日星期二上午9点（太平洋时间）参加“使用NVIDIA Jetson将生成式人工智能带入生活”网络研讨会。在此次活动中，技术专家将深究在此处宣布的新闻，包括在Jetson上部署LLMs和VLMs的加速API和量化方法，使用TensorRT优化视觉转换器等。
在此处注册NVIDIA Metropolis提早访问。