Press "Enter" to skip to content

Tag: NVIDIA Isaac Sim

“AWS上的NVIDIA GPU将在全宇宙Isaac模拟器中实现2倍的模拟飞跃,加速智能机器人的发展”

在云端开发更智能的机器人即将获得速度倍增器。 NVIDIA Isaac Sim和NVIDIA L40S GPUs即将登陆亚马逊云服务,使开发者能够在云端构建和部署加速机器人应用。Isaac Sim是一个可扩展的人工智能机器人模拟器,构建于NVIDIA Omniverse开发平台,用于构建和连接OpenUSD应用程序。 L40S GPU将强大的人工智能计算与图形和媒体加速相结合,旨在为下一代数据中心工作负载提供动力。基于Ada Lovelace架构,L40S可以实现超高速实时渲染,与上一代相比,Omniverse的性能提升高达3.8倍,提升了工程和机器人团队的能力。 加速度的世代跃迁使得在使用Isaac Sim进行一系列机器人模拟任务时,与A40 GPU相比,获得了2倍的性能提升。 L40S GPU还可以用于生成式人工智能工作负载,从几小时内对大型语言模型进行精调,到文本到图像和聊天应用的实时推理。 NVIDIA L40S在AWS Marketplace上的新Amazon Machine Images (AMIs)将使机器人工程师们能够轻松访问预配置的虚拟机,以执行Isaac Sim工作负载。 模拟中的机器人开发加速了应用部署的过程,为零售业、食品加工业、制造业、物流等行业注入了强大动力。 根据ABI…

Leave a Comment

扭转珊瑚礁衰退的潮流:CUREE机器人以深度学习深入潜水

研究人员正在深入研究深度学习。 伍兹霍尔海洋研究所(WHOI)自主机器人和感知实验室(WARPLab)与麻省理工学院正在开发一种用于研究珊瑚礁及其生态系统的机器人。 WARPLab自主水下车辆(AUV)是世界上最大的私人海洋研究机构为扭转珊瑚礁衰退趋势而做出的努力,该车辆由NVIDIA Jetson Orin NX模块驱动。 根据WHOI Reef Solutions Initiative的数据,全球25%的珊瑚礁在过去三十年中消失,其余的大部分珊瑚礁正走向灭绝。 这款被称为CUREE(Curious Underwater Robot for Ecosystem Exploration)的AUV与潜水员一起收集视觉、音频和其他环境数据,以帮助了解人类对珊瑚礁及其周围海洋生物的影响。该机器人运行NVIDIA Jetson集成的边缘AI技术,用于构建珊瑚礁的三维模型,并追踪生物和植物生命。它还可以自主导航和收集数据。 伍兹霍尔海洋研究所是最早于1986年探索“泰坦尼克号”的潜艇首开发出CUREE机器人,以便扩大数据收集范围并帮助缓解策略。该海洋科研机构还在研究使用模拟和数字孪生技术来更好地复制珊瑚礁环境,并探索像NVIDIA Omniverse这样的解决方案——NVIDIA Omniverse是一种用于构建和连接3D工具和应用的开发平台。 NVIDIA正在Omniverse中创建地球的数字孪生,为预测气候变化开发世界上最强大的AI超级计算机,称为Earth-2。 水下人工智能:DeepSeeColor模型 任何试过浮潜的人都知道,在水下看不如在陆地上清晰。水会在远距离上衰减太阳下的可见光光谱,更多地抑制一些颜色。同时,水中的颗粒会造成一种称为背散射的朦胧视图。 WARPLab团队最近在海底视觉校正方面发表了一篇研究论文,该论文有助于缓解这些问题并支持CUREE的工作。该论文描述了一个名为DeepSeeColor的模型,它使用两个卷积神经网络序列来在水下实时减少背散射并修正颜色,这些网络运行在NVIDIA Jetson…

Leave a Comment

英伟达扩展机器人平台以满足生成式人工智能的崛起

强大的生成式AI模型、云原生API和微服务正在逐渐走向边缘。 生成式AI将转换模型和大型语言模型的优势带到了几乎所有行业。现在,这种影响力已经扩展到了涉及边缘、机器人和物流系统的领域:缺陷检测、实时资产跟踪、自主计划和导航、人机交互等。 NVIDIA今天宣布了两个在边缘AI和机器人技术领域的框架的重大扩展:NVIDIA的Isaac ROS机器人技术框架正式面向市场,NVIDIA Metropolis在Jetson平台上的扩展即将推出。 为了加快边缘AI应用的开发和部署,NVIDIA还建立了一个用于开发者使用的Jetson生成式AI实验室,供他们使用最新的开源生成式AI模型。 超过120万开发者和1万多个客户选择了NVIDIA AI和Jetson平台,其中包括亚马逊网络服务、思科、约翰迪尔、美敦力、百事可乐和西门子。 随着人工智能领域的快速发展,应对越来越复杂的场景,开发者面临着日益延长的开发周期来构建边缘AI应用的挑战。实时重新编程机器人和AI系统以满足不断变化的环境、制造流水线和客户的自动化需求是耗时且需要专业技能的。 生成式AI提供了零样本学习的能力,即模型能够识别训练过程中从未见过的特定东西,并结合自然语言界面,简化了边缘AI的开发、部署和管理。 改变人工智能领域 生成式AI通过理解人类语言提示来改变模型,极大地提高了易用性。这些AI模型在检测、分段、跟踪、搜索甚至重新编程方面更加灵活,并且能够优于传统的基于卷积神经网络的模型。 根据ABI Research的数据,生成式AI预计将在2033年为全球制造业增加105亿美元的收入。 NVIDIA的嵌入式和边缘计算副总裁Deepu Talla表示:“生成式AI将以比以往更好的泛化能力、易用性和更高的准确性显著加速边缘AI的部署。Metropolis和Isaac在Jetson上的这次最大规模的软件扩展,结合了转换模型和生成式AI的能力,满足了这一需求。” 在边缘开发生成式AI Jetson生成式AI实验室为开发者提供了优化工具和教程,用于部署开源LLMs、扩散模型以生成令人惊叹的交互式图像、视觉语言模型(VLMs)和视觉Transformer(ViTs)结合视觉AI和自然语言处理,实现对场景的全面理解。 开发者还可以使用NVIDIA TAO Toolkit为边缘应用程序创建高效准确的AI模型。TAO提供了一个低代码界面,用于微调和优化视觉AI模型,包括ViT和视觉基础模型。他们还可以自定义和微调诸如NVIDIA NV-DINOv2或公共模型如OpenCLIP之类的基础模型,以用极少的数据创建高精度的视觉AI模型。TAO还引入了VisualChangeNet,这是一个用于缺陷检测的基于Transformer的新模型。 利用新的Metropolis和Isaac框架 NVIDIA Metropolis使企业更加轻松、更具成本效益地采用世界级的视觉AI解决方案,以提高关键的运营效率和安全性。该平台提供了一系列强大的应用程序编程接口和微服务,供开发者快速开发复杂的基于视觉的应用程序。…

Leave a Comment

“遇见杂食动物:工业设计师将艺术与OpenUSD融合,为AI训练创建3D资产”

编辑注:这篇文章是我们的《遇见全能者》系列的一部分,该系列介绍使用NVIDIA Omniverse和OpenUSD加速其3D工作流程并创建虚拟世界的个人创作者和开发者。 作为澳大利亚昆士兰科技大学(QUT)的学生,艾米莉·博默尔在选择追求创意艺术还是科学方面犹豫不决。 然后她发现了工业设计,这使她能够深入研究和编码,同时探索可视化工作流程,如素描、动画和3D建模。 现在,博默尔作为宝马集团(BMW Group)技术办公室的设计实习生将她的技能付诸实践。该团队使用NVIDIA Omniverse,这是一个用于开发和连接3D工具和应用程序的平台,以及通用场景描述(Universal Scene Description,简称OpenUSD),以增强其合成数据生成流程。 博默尔创建了逼真的3D资产,这些资产可以与SORDI.ai一起使用,SORDI.ai是Synthetic Object Recognition Dataset for Industries的缩写。SORDI.ai由宝马集团、微软和NVIDIA合作发表,帮助开发人员和研究人员简化和加速用于生产的AI训练。为了自动化图像生成,该团队开发了一种基于Omniverse Replicator的扩展,Omniverse Replicator是用于创建自定义合成数据生成工具的软件开发工具包。 作为SORDI.ai团队的一员,博默尔使用Blender和Adobe Substance Painter设计具有高度物理准确性和照片真实感的3D资产,有助于确保合成数据可以用于高效训练AI模型。 博默尔创建的所有资产都用于在NVIDIA Isaac Sim平台上测试和模拟自主机器人,该平台为开发人员提供了一套合成数据生成能力,可以为光线真实、物理准确的虚拟环境提供动力。 为训练AI创建逼真的3D资产 作为设计实习生,博默尔的主要任务是动画和3D建模。这个过程始于拍摄目标物体的照片。然后,她使用这些2D照片作为参考,在Blender中将其与3D模型对齐。…

Leave a Comment

什么是机器人仿真?

机器人正在仓库中搬运货物、包装食品、帮助组装车辆——当它们不翻转汉堡或者冲泡拿铁时。 它们是如何如此迅速地变得如此熟练呢?机器人模拟。 它正在以飞跃的进步改变我们周围的各个行业。 机器人模拟简介 机器人模拟器将虚拟机器人放置在虚拟环境中,以测试机器人的软件,而无需实际机器人。而最新的模拟器可以生成数据集,用于训练将在实际机器人上运行的机器学习模型。 在这个虚拟世界中,开发者创建机器人、环境和其他机器人可能遇到的素材的数字版本。这些环境可以遵守物理定律,并模拟真实世界的重力、摩擦、材料和光照条件。 谁在使用机器人模拟? 如今,机器人在大规模上提升了业务。一些最大和最具创新性的机器人公司都依赖于机器人模拟。 得益于模拟,配送中心每天可以处理数千万个包裹。 亚马逊机器人使用它来支持其配送中心。宝马集团借助它加速其汽车装配厂的规划。软性机器人应用它来完善食品包装的抓取和放置。 全球各地的汽车制造商都在用机器人来支持他们的业务。 “汽车公司雇佣了将近1400万人。数字化将提高这个行业的效率、生产力和速度,” NVIDIA首席执行官Jensen Huang在最新的GTC主题演讲中说道。 机器人模拟的工作原理简介 一个先进的机器人模拟器首先应用物理基本方程。例如,它可以使用牛顿运动定律来确定物体在一个小时间增量或时间步长内的运动方式。它还可以结合机器人的物理约束条件,比如由铰链般的连接构成,或者无法穿过其他物体。 模拟器使用各种方法来检测物体之间的潜在碰撞,识别碰撞物体之间的接触点,并计算阻止物体相互穿过的力或冲量。模拟器还可以计算用户寻求的传感器信号,比如机器人关节处的扭矩或机器人夹持器与物体之间的力。 然后,模拟器将根据用户的要求重复这个过程。一些模拟器,比如基于NVIDIA Omniverse的NVIDIA Isaac Sim应用程序,还可以在每个时间步长上提供物理上准确的模拟器输出的可视化。 使用机器人模拟器的成果 机器人模拟器用户通常会导入机器人的计算机辅助设计模型,并导入或生成感兴趣的对象来构建虚拟场景。开发者可以使用一组算法来执行任务规划和运动规划,然后指定控制信号来执行这些计划。这使得机器人能够执行任务并以特定方式移动,比如拾取一个物体并将其放置在目标位置。 开发者可以观察计划和控制信号的结果,然后根据需要进行修改以确保成功。最近,有一种向基于机器学习的方法的转变。所以,用户不是直接指定控制信号,而是指定所需的行为,比如移动到一个位置而不发生碰撞。在这种情况下,一个数据驱动的算法会根据机器人的模拟传感器信号生成控制信号。 这些算法可以包括模仿学习,其中人类演示可以提供参考,以及强化学习,机器人通过智能的试错学习来实现行为,通过加速的虚拟体验快速学习多年的经验。…

Leave a Comment

电子巨头利用NVIDIA Metropolis进入工厂自动化领域

全球4.6万亿美元的电子制造业横跨全球超过1000万家工厂,生产无缺陷产品对其至关重要。为了驱动产品的卓越性,领先的电子制造商正在采用NVIDIA工厂Metropolis。 其中包括富士康工业互联网、和硕、广达、西门子和纬创等50多家制造业巨头和工业自动化提供商。NVIDIA的创始人兼首席执行官黄仁勋在台北举行的COMPUTEX技术大会上宣布了这一消息。 NVIDIA工厂Metropolis是一组工厂自动化工作流程,可使工业技术公司和制造商开发、部署和管理定制的质量控制系统,提供竞争优势。 全球制造商每年在追求质量控制方面的支出超过6万亿美元,几乎每个产品系列都应用缺陷检测。但是,手动检查无法跟上需求。 许多制造商拥有自动光学检测(AOI)系统,可以帮助解决问题,但通常这些系统具有高假检测率,需要在劳动力市场已经具有挑战性的情况下进行人力密集型和昂贵的二次手动检查,降低了它们的价值。 NVIDIA工厂Metropolis现在提供了一种先进的人工智能平台和工作流程,用于开发诸如AOI之类的极其准确的检测应用程序。 和硕采用Metropolis工厂推动AOI 总部位于台北北投区的领先制造商和硕正在其生产线上使用NVIDIA工厂Metropolis。 和硕制造从主板到智能手机、笔记本电脑和游戏机等各种产品。每天处理超过300种产品和超过5,000个零部件的十几个制造设施,和硕有很多质量控制需要管理其产品组合。此外,频繁的产品更新要求对其AOI系统进行持续修订。 和硕正在使用整个Metropolis工厂工作流程来支持其印刷电路板(PCB)工厂进行模拟、机器人和自动生产检查。工厂Metropolis使这家电子制造业巨头能够快速更新其缺陷检测模型,并在其AOI系统上实现99.8%的准确率,从小数据集开始。   和硕使用NVIDIA Isaac Sim进行机器人模拟器编程,模拟其移动机器人队列的表现。 利用NVIDIA Omniverse Replicator提供的合成数据生成来模拟缺陷,帮助使用域随机化等技术构建大规模训练数据集。 在Metropolis中,NVIDIA TAO Toolkit允许和硕访问预训练模型和转移学习,从其增强的数据集构建高度准确的缺陷检测模型。 NVIDIA DeepStream软件开发工具包可用于开发优化的智能视频应用程序,处理多个视频、图像和音频流。使用DeepStream,和硕能够实现10倍的吞吐量提高。 此外,Omniverse使和硕能够运行其检测设备的数字孪生,因此可以模拟未来的检测过程,为其生产工作流程带来效率提高的可能性。 它也被广达子公司Techman Robot使用,后者利用Isaac…

Leave a Comment

Techman机器人选择NVIDIA Isaac Sim以优化自动光学检测

如何帮助机器人建造更好的机器人?通过模拟更多的机器人。 NVIDIA创始人兼CEO黄仁勋今天展示了领先的电子制造商Quanta如何使用AI启用的机器人来检查其产品的质量。 在本周的台北国际电脑展上的主题演讲中,黄仁勋介绍了电子制造商如何数字化其最先进的工厂。 例如,Quanta子公司Techman Robot的机器人使用NVIDIA Isaac Sim —— 一款基于NVIDIA Omniverse构建的机器人模拟应用程序,开发了一个定制的数字孪生应用程序,以改进这家总部位于台湾的电子产品提供商的生产线上的检查。 以下演示展示了Techman如何使用Isaac Sim来优化制造线上机器人的机器人检查。事实上,这是机器人建造机器人。 自动光学检查,或AOI,帮助制造商更快地识别缺陷,并向全球客户交付高质量的产品。现在启用AOI的NVIDIA Metropolis视觉AI框架还用于优化从汽车到电路板等产品的检查工作流程。 Techman通过使用Isaac Sim模拟、测试和优化其最先进的协作机器人或合作机器人,与使用云端的NVIDIA AI和GPU进行训练和机器人本身的推理,开发了AOI。 Isaac Sim是基于NVIDIA Omniverse构建的——一个用于构建和操作工业元宇宙应用的开放式开发平台。 Techman机器人AOI解决方案的独特特点包括将检查摄像头直接放置在关节式机器人手臂上,以及GPU集成在机器人控制器中。 这使得机器人能够检查固定摄像头无法访问的产品区域,并利用边缘上的AI即时检测缺陷。 Techman的首席运营官Scott Huang表示:“与其他机器人品牌相比,Techman机器人的独特特点在于其内置的视觉系统和AI推理引擎。NVIDIA RTX…

Leave a Comment

直播自台北: NVIDIA CEO 发布面向各行业的 Gen AI 平台

在疫情以来的首次现场主题演讲中,NVIDIA的创始人兼CEO黄仁勋今天在台北举行的COMPUTEX大会上宣布了一些平台,这些平台可以帮助公司乘风破浪,参与到一波历史性的生成式人工智能浪潮中,这个浪潮正在改变从广告到制造业再到电信等行业。 “我们回来了,”黄仁勋在他的家中厨房进行了几年的虚拟主题演讲之后在舞台上大声喊道。“我已经有将近四年没有公开演讲了–祝我好运!” 他向约3500名观众演讲了近两个小时,介绍了加速计算服务、软件和系统,这些都使新的商业模式成为可能,也让现有的商业模式更加高效。 “加速计算和人工智能标志着计算机的重新发明,”黄仁勋说道,他在过去一周在家乡的旅行每天都被当地媒体追踪报道。 为了展示它的强大,他使用了他所在的巨大的8K墙,展示了一个文本提示,生成了一首主题歌,可以随意地唱,就像任何卡拉OK歌曲一样。黄仁勋偶尔用他的家乡语言和观众开玩笑,并短暂地带领观众唱了这首新歌。 “现在我们处于一个新的计算时代的临界点,加速计算和人工智能已经被全球几乎所有的计算和云计算公司所接受,”他说道,指出现在有40,000家大型公司和15,000家初创公司使用NVIDIA技术,去年CUDA软件下载量达到2500万次。 主题演讲的重要新闻公告 Grace Hopper提供大内存超级计算机,用于生成式人工智能。 模块化参考架构可以创建100多个加速服务器变体。 WPP和NVIDIA在Omniverse中创建数字广告内容引擎。 SoftBank和NVIDIA在日本建立5G和生成式人工智能数据中心。 网络技术加速基于以太网的人工智能云。 NVIDIA ACE for Games利用生成式人工智能为角色赋予生命。 全球的电子制造商都在使用NVIDIA人工智能。 企业人工智能的新引擎 对于需要最佳人工智能性能的企业,他推出了DGX GH200,一个大内存人工智能超级计算机。它使用NVIDIA NVLink将多达256个NVIDIA GH200 Grace Hopper超级芯片组合成一个单一的数据中心大小的GPU。…

Leave a Comment