Zipline 不只是一家顶尖无人机初创公司。 自 2011 年成立以来，总部位于旧金山的公司已在七个国家完成了 80 万多次交付。最近，它还为西雅图的 Pagliacci Pizza、维生素和补充剂巨头 GNC，以及像 Intermountain Health、OhioHealth 和 Michigan Medicine 这样的大型卫生系统提供了服务。 Zipline 开发了它的无人机 – 它们现在已经飞行了超过 5500 万英里 – 用于使用 NVIDIA…
Leave a CommentTag: Autonomous Machines
向一边去，韦伯斯特：今年企业发现了许多候选词来评选年度词汇。紧随其后的是诸如“生成式人工智能”和“生成式预训练变压器”之类的术语，整个行业都将注意力转向变革性的新技术，如“大型语言模型”和“检索增强生成”（RAG）。 一开始，“生成式人工智能”只是一个较小的关注点，但最后却以耀眼姿态收场。许多公司正在迅速利用其能够处理文本、语音和视频的能力，产生革新性的内容，从而彻底改变生产力、创新力和创造力。 企业正在顺应这一趋势。根据麦肯锡公司的数据，像OpenAI的ChatGPT这样的深度学习算法，再加上企业数据的进一步训练，每年可以为63个商业用例带来相当于2.6万亿至4.4万亿美元的价值。 然而，管理大量的内部数据往往被认为是扩展人工智能的最大障碍。一些AI领域的NVIDIA专家预测，2024年将成为联络朋友的一年——与云服务提供商、数据存储和分析公司以及其他掌握处理、优化和高效部署大数据的技能的公司建立伙伴关系和合作。 大语言模型是这一切的核心。NVIDIA专家表示，LLM研究的进展将越来越多地应用于商业和企业应用领域。通过几乎任何平台，诸如RAG、自主智能代理和多模态互动等AI功能将变得更加易于获取和部署。 听取NVIDIA专家对未来一年的预测： MANUVIR DAS企业计算副总裁 一刀切不适用于所有情况：定制化即将进入企业。企业将不会只有一两个生成式人工智能应用，它们会有数百个定制应用，使用适合于业务不同部分的专有数据。 一旦投入生产，这些定制化的LLM将具备RAG功能，将数据源与生成式人工智能模型连接起来，以获得更准确、更明智的响应。像Amdocs、Dropbox、Genentech、SAP、ServiceNow和Snowflake这样的领先公司已经在构建使用RAG和LLM的全新生成式人工智能服务。 开源软件引领潮流：得益于开源预训练模型，解决特定领域挑战的生成式人工智能应用将成为企业运营策略的一部分。 一旦公司将这些先导模型与私有或实时数据结合起来，他们就可以开始在整个组织中看到加速的生产力和成本效益。从基于云计算和人工智能模型铸造服务到数据中心、边缘和桌面，AI计算和软件将在几乎任何平台上变得更加易于获取。 现成的人工智能和微服务：生成式人工智能促使应用程序编程接口（API）端点的采用增加，这使得开发人员能够构建复杂的应用程序更加容易。 到2024年，软件开发工具包和API将升级，开发人员将使用生成式人工智能微服务（例如RAG作为服务）来定制现成的AI模型。这将帮助企业充分发挥以智能助手和摘要工具为代表的以AI驱动的生产力的潜力，这些工具可以获取最新的业务信息。 开发人员将能够直接将这些API端点嵌入到他们的应用程序中，而无需担心维护支持这些模型和框架所需的基础设施。最终用户将能够体验到更直观、更具响应性和更符合需求的应用程序。 IAN BUCK超大规模和高性能计算副总裁 国家财富：人工智能将成为新的太空竞赛，每个国家都希望建立自己的卓越中心，推动研究和科学的重大进展，提高国内生产总值。 只需要几百个加速计算节点，各国就能迅速构建高效、高性能、百亿亿次量级的AI超级计算机。政府资助的生成式AI卓越中心将通过创造新的工作岗位和建设更强大的大学项目推动国家经济增长，培养下一代科学家、研究人员和工程师。 量子飞跃：企业领导者将以两个关键驱动因素启动量子计算研究项目：利用传统AI超级计算机模拟量子处理器的能力以及混合经典量子计算的开放统一开发平台的可用性。这使得开发人员可以使用标准编程语言而不需要定制的、专门的知识来构建量子算法。 曾经在计算机科学中被认为是一个隐晦的领域，随着企业加入学术界和国家实验室追求材料科学、制药研究、亚原子物理和物流的快速进展，量子计算探索将变得更加主流。 KARI BRISKI副总裁，AI软件 从试错到致富：随着企业采用这些AI框架，对试错增强生成技术（RAG）将会有更多的讨论。 当企业培训LLM来构建生成式AI应用程序和服务时，当模型在某种用例下没有足够准确、相关的信息时，RAG被广泛视为解决不准确或荒谬回答的方法。…
Leave a Comment在云端开发更智能的机器人即将获得速度倍增器。 NVIDIA Isaac Sim和NVIDIA L40S GPUs即将登陆亚马逊云服务，使开发者能够在云端构建和部署加速机器人应用。Isaac Sim是一个可扩展的人工智能机器人模拟器，构建于NVIDIA Omniverse开发平台，用于构建和连接OpenUSD应用程序。 L40S GPU将强大的人工智能计算与图形和媒体加速相结合，旨在为下一代数据中心工作负载提供动力。基于Ada Lovelace架构，L40S可以实现超高速实时渲染，与上一代相比，Omniverse的性能提升高达3.8倍，提升了工程和机器人团队的能力。 加速度的世代跃迁使得在使用Isaac Sim进行一系列机器人模拟任务时，与A40 GPU相比，获得了2倍的性能提升。 L40S GPU还可以用于生成式人工智能工作负载，从几小时内对大型语言模型进行精调，到文本到图像和聊天应用的实时推理。 NVIDIA L40S在AWS Marketplace上的新Amazon Machine Images (AMIs)将使机器人工程师们能够轻松访问预配置的虚拟机，以执行Isaac Sim工作负载。 模拟中的机器人开发加速了应用部署的过程，为零售业、食品加工业、制造业、物流等行业注入了强大动力。 根据ABI…
Leave a Comment在今年世界上最大规模的太阳能赛车活动中，新南威尔士大学的Sunswift Racing团队正大放异彩。 首次于35年前启动的World Solar Challenge吸引了来自全球的学术参与者。今年的比赛吸引了近100个竞争对手。 比赛历时大约四天，总里程约1900英里，参赛者不是为了速度而是为了最大能源效率而争夺。 悉尼新南威尔士大学（UNSW）赢得了能源效率比赛，并且以其使用NVIDIA Jetson Xavier NX进行能源优化的Sunswift 7车辆第一个越过终点线，获得了巡航杯的荣誉。它也是唯一一支搭载4人并拥有遥控任务控制团队的参赛者。 “能够使用最少的能量在其他任何人之前到达阿德莱德，这是一个完全不同的命题，但第一个越过终点线只是为了炫耀权利，” Sunswift项目经理、UNSW教授Richard Hopkins说道。 Hopkins之前在英国管理过F1赛车队。 比赛组织者将这项活动称为“对未来更可持续的移动方式做出的最伟大的创新和工程挑战”，该活动贯穿整个澳大利亚公路，从北部的达尔文到南部的阿德莱德。它也成为了追求电动车行业职业道路的学生们的跳板。 像许多竞争对手一样，UNSW在因COVID-19大流行而经历了三年的比赛暂停后再次参赛，使得今年的比赛备受期待。 “每个团队成员都需要理解他们正在做什么和在团队中的角色，并在这五天半的比赛中表现最佳，” Hopkins说道。 “这使人筋疲力尽。” 全力以赴的能源效率 比赛允许参与者在车辆停留在两个位置过夜时，从完全充电的电池开始充电。剩下的约90%的能量来自太阳和车辆的太阳能电池板。 UNSW第七代Sunswift 7使用算法进行能源效率优化，基本上关闭所有非必要的计算，以最大化电池寿命。 这辆太阳能电动车依靠NVIDIA…
Leave a Comment由NVIDIA研究开发的新型人工智能代理能够教会机器人复杂的技能，现已训练出机器手以与人类一样轻松地完成快速旋笔技巧。 在上面的视频中展示的惊人表现是机器人通过Eureka学会的近30项任务之一，Eureka自主编写奖励算法以训练机器人。 Eureka还教会了机器人如何打开抽屉和橱柜、抛接球和操作剪刀等任务。 今天发布的Eureka研究包括一篇论文和项目的人工智能算法，开发者可以使用NVIDIA Isaac Gym进行实验，这是一个用于强化学习研究的物理模拟参考应用程序。Isaac Gym建立在NVIDIA Omniverse上，这是一个基于OpenUSD框架构建3D工具和应用程序的开发平台。Eureka本身由GPT-4大型语言模型驱动。 NVIDIA高级AI研究主管Anima Anandkumar表示：“在过去的十年中，强化学习取得了令人瞩目的成就，但仍存在许多挑战，例如奖励设计仍然是一个试错过程。Eureka是开发整合生成和强化学习方法解决难题的新算法的第一步。” AI训练机器人 根据论文，Eureka生成的奖励程序——用于机器人的试错学习——在超过80%的任务上都优于由专家编写的奖励程序，这使得机器人的平均性能提高了50%以上。 https://blogs.nvidia.com/wp-content/uploads/2023/10/franka_cabinet.mp4 由Eureka教会的机器臂打开抽屉。 这个AI代理使用GPT-4 LLM和生成AI来编写奖励机器人进行强化学习的软件代码。它不需要具体的任务提示或预定义的奖励模板，并且可以根据人类的反馈快速调整奖励以更准确地实现开发者的愿景。 在Isaac Gym的GPU加速模拟中，Eureka可以快速评估大量奖励候选项的质量，从而实现更高效的训练。 Eureka随后构建了关于训练结果的关键统计数据的摘要，并指导LLM改进奖励函数的生成。通过这种方式，人工智能实现了自我提升。它教会了各种各样的机器人，包括四足、两足、四旋翼、灵巧手臂、协作机械臂等完成各种任务。 研究论文对20项Eureka训练任务进行了详细评估，基于需要机器手展示各种复杂操纵技能的开源灵巧性基准。 来自九个Isaac Gym环境的结果通过使用NVIDIA Omniverse生成的可视化展示。 https://blogs.nvidia.com/wp-content/uploads/2023/10/humanoid.mp4 人形机器人通过Eureka学会奔跑步态。…
Leave a Comment强大的生成式AI模型、云原生API和微服务正在逐渐走向边缘。 生成式AI将转换模型和大型语言模型的优势带到了几乎所有行业。现在，这种影响力已经扩展到了涉及边缘、机器人和物流系统的领域：缺陷检测、实时资产跟踪、自主计划和导航、人机交互等。 NVIDIA今天宣布了两个在边缘AI和机器人技术领域的框架的重大扩展：NVIDIA的Isaac ROS机器人技术框架正式面向市场，NVIDIA Metropolis在Jetson平台上的扩展即将推出。 为了加快边缘AI应用的开发和部署，NVIDIA还建立了一个用于开发者使用的Jetson生成式AI实验室，供他们使用最新的开源生成式AI模型。 超过120万开发者和1万多个客户选择了NVIDIA AI和Jetson平台，其中包括亚马逊网络服务、思科、约翰迪尔、美敦力、百事可乐和西门子。 随着人工智能领域的快速发展，应对越来越复杂的场景，开发者面临着日益延长的开发周期来构建边缘AI应用的挑战。实时重新编程机器人和AI系统以满足不断变化的环境、制造流水线和客户的自动化需求是耗时且需要专业技能的。 生成式AI提供了零样本学习的能力，即模型能够识别训练过程中从未见过的特定东西，并结合自然语言界面，简化了边缘AI的开发、部署和管理。 改变人工智能领域 生成式AI通过理解人类语言提示来改变模型，极大地提高了易用性。这些AI模型在检测、分段、跟踪、搜索甚至重新编程方面更加灵活，并且能够优于传统的基于卷积神经网络的模型。 根据ABI Research的数据，生成式AI预计将在2033年为全球制造业增加105亿美元的收入。 NVIDIA的嵌入式和边缘计算副总裁Deepu Talla表示：“生成式AI将以比以往更好的泛化能力、易用性和更高的准确性显著加速边缘AI的部署。Metropolis和Isaac在Jetson上的这次最大规模的软件扩展，结合了转换模型和生成式AI的能力，满足了这一需求。” 在边缘开发生成式AI Jetson生成式AI实验室为开发者提供了优化工具和教程，用于部署开源LLMs、扩散模型以生成令人惊叹的交互式图像、视觉语言模型（VLMs）和视觉Transformer（ViTs）结合视觉AI和自然语言处理，实现对场景的全面理解。 开发者还可以使用NVIDIA TAO Toolkit为边缘应用程序创建高效准确的AI模型。TAO提供了一个低代码界面，用于微调和优化视觉AI模型，包括ViT和视觉基础模型。他们还可以自定义和微调诸如NVIDIA NV-DINOv2或公共模型如OpenCLIP之类的基础模型，以用极少的数据创建高精度的视觉AI模型。TAO还引入了VisualChangeNet，这是一个用于缺陷检测的基于Transformer的新模型。 利用新的Metropolis和Isaac框架 NVIDIA Metropolis使企业更加轻松、更具成本效益地采用世界级的视觉AI解决方案，以提高关键的运营效率和安全性。该平台提供了一系列强大的应用程序编程接口和微服务，供开发者快速开发复杂的基于视觉的应用程序。…
Leave a CommentSaildrone正在自主监测海洋中取得突破性进展。 这家初创公司的航海数据采集技术曾近距离追踪北大西洋的飓风，发现了太平洋中的一个3200英尺的水下山脉，并开始帮助绘制全球海洋底部的地图。 该公司总部位于旧金山湾区，开发了搭载各种传感器的自主无人船（USV）。其数据流经NVIDIA Jetson模块进行边缘AI处理，并在NVIDIA DeepStream软件开发工具包的原型中进行优化，用于智能视频分析。 Saildrone致力于使海洋情报收集成本效益高，为科学、渔业、天气预报、海洋绘图和海上安全提供数据收集系统。 它拥有三种不同的USV，并使用Mission Portal控制中心服务来监视定制任务并实时可视化数据。此外，Saildrone的一些历史数据可供公众免费使用。 “我们曾驶入三次大型飓风，甚至穿越了“飓风山姆”的风眼，所有的船只都安然度过——它们是非常坚固的平台，” Saildrone软件工程副总裁布莱思·托瓦尔（Blythe Towal）说道，她指的是2021年威胁百慕大的一次强热带气旋。 成立于2012年的Saildrone已获得1.9亿美元的资金支持。该初创公司是NVIDIA Inception计划的成员，该计划为公司提供技术支持和人工智能平台指导。 保持AI在地球水域中的活动 Saildrone在无人船的数据收集任务在海洋和湖泊的环境研究中引起了广泛关注。 夏威夷大学马诺阿分校已经借助三艘23英尺的Saildrone Explorer USV来研究海洋酸化对气候变化的影响。这个为期六个月的任务将围绕夏威夷、毛伊岛、瓦胡岛和考艾岛进行，用于评估该州周围海洋的健康状况。 海洋酸化是指pH值的降低，其影响因素包括化石燃料的燃烧和农业。这些因素可能对珊瑚、牡蛎、蛤蜊、海胆和钙质浮游生物等造成影响，威胁到海洋生态系统。 Saildrone最近与Seabed 2030合作，共同绘制全球海洋的完整地图。Seabed 2030是日本基金会和大洋一般海图局（GEBCO）之间的合作项目，旨在到2030年绘制全球海洋地形图。 “Saildrone的愿景是一个健康的海洋和一个可持续的星球，” Saildrone创始人兼首席执行官理查德·詹金斯（Richard Jenkins）说道。“完整的海洋底部地图对实现这一愿景至关重要。”…
Leave a Comment机器人正在仓库中搬运货物、包装食品、帮助组装车辆——当它们不翻转汉堡或者冲泡拿铁时。 它们是如何如此迅速地变得如此熟练呢？机器人模拟。 它正在以飞跃的进步改变我们周围的各个行业。 机器人模拟简介 机器人模拟器将虚拟机器人放置在虚拟环境中，以测试机器人的软件，而无需实际机器人。而最新的模拟器可以生成数据集，用于训练将在实际机器人上运行的机器学习模型。 在这个虚拟世界中，开发者创建机器人、环境和其他机器人可能遇到的素材的数字版本。这些环境可以遵守物理定律，并模拟真实世界的重力、摩擦、材料和光照条件。 谁在使用机器人模拟？ 如今，机器人在大规模上提升了业务。一些最大和最具创新性的机器人公司都依赖于机器人模拟。 得益于模拟，配送中心每天可以处理数千万个包裹。 亚马逊机器人使用它来支持其配送中心。宝马集团借助它加速其汽车装配厂的规划。软性机器人应用它来完善食品包装的抓取和放置。 全球各地的汽车制造商都在用机器人来支持他们的业务。 “汽车公司雇佣了将近1400万人。数字化将提高这个行业的效率、生产力和速度，” NVIDIA首席执行官Jensen Huang在最新的GTC主题演讲中说道。 机器人模拟的工作原理简介 一个先进的机器人模拟器首先应用物理基本方程。例如，它可以使用牛顿运动定律来确定物体在一个小时间增量或时间步长内的运动方式。它还可以结合机器人的物理约束条件，比如由铰链般的连接构成，或者无法穿过其他物体。 模拟器使用各种方法来检测物体之间的潜在碰撞，识别碰撞物体之间的接触点，并计算阻止物体相互穿过的力或冲量。模拟器还可以计算用户寻求的传感器信号，比如机器人关节处的扭矩或机器人夹持器与物体之间的力。 然后，模拟器将根据用户的要求重复这个过程。一些模拟器，比如基于NVIDIA Omniverse的NVIDIA Isaac Sim应用程序，还可以在每个时间步长上提供物理上准确的模拟器输出的可视化。 使用机器人模拟器的成果 机器人模拟器用户通常会导入机器人的计算机辅助设计模型，并导入或生成感兴趣的对象来构建虚拟场景。开发者可以使用一组算法来执行任务规划和运动规划，然后指定控制信号来执行这些计划。这使得机器人能够执行任务并以特定方式移动，比如拾取一个物体并将其放置在目标位置。 开发者可以观察计划和控制信号的结果，然后根据需要进行修改以确保成功。最近，有一种向基于机器学习的方法的转变。所以，用户不是直接指定控制信号，而是指定所需的行为，比如移动到一个位置而不发生碰撞。在这种情况下，一个数据驱动的算法会根据机器人的模拟传感器信号生成控制信号。 这些算法可以包括模仿学习，其中人类演示可以提供参考，以及强化学习，机器人通过智能的试错学习来实现行为，通过加速的虚拟体验快速学习多年的经验。…
Leave a Comment如何帮助机器人建造更好的机器人？通过模拟更多的机器人。 NVIDIA创始人兼CEO黄仁勋今天展示了领先的电子制造商Quanta如何使用AI启用的机器人来检查其产品的质量。 在本周的台北国际电脑展上的主题演讲中，黄仁勋介绍了电子制造商如何数字化其最先进的工厂。 例如，Quanta子公司Techman Robot的机器人使用NVIDIA Isaac Sim —— 一款基于NVIDIA Omniverse构建的机器人模拟应用程序，开发了一个定制的数字孪生应用程序，以改进这家总部位于台湾的电子产品提供商的生产线上的检查。 以下演示展示了Techman如何使用Isaac Sim来优化制造线上机器人的机器人检查。事实上，这是机器人建造机器人。 自动光学检查，或AOI，帮助制造商更快地识别缺陷，并向全球客户交付高质量的产品。现在启用AOI的NVIDIA Metropolis视觉AI框架还用于优化从汽车到电路板等产品的检查工作流程。 Techman通过使用Isaac Sim模拟、测试和优化其最先进的协作机器人或合作机器人，与使用云端的NVIDIA AI和GPU进行训练和机器人本身的推理，开发了AOI。 Isaac Sim是基于NVIDIA Omniverse构建的——一个用于构建和操作工业元宇宙应用的开放式开发平台。 Techman机器人AOI解决方案的独特特点包括将检查摄像头直接放置在关节式机器人手臂上，以及GPU集成在机器人控制器中。 这使得机器人能够检查固定摄像头无法访问的产品区域，并利用边缘上的AI即时检测缺陷。 Techman的首席运营官Scott Huang表示：“与其他机器人品牌相比，Techman机器人的独特特点在于其内置的视觉系统和AI推理引擎。NVIDIA RTX…
Leave a Comment