Press "Enter" to skip to content

“遇见杂食动物:工业设计师将艺术与OpenUSD融合,为AI训练创建3D资产”

编辑注:这篇文章是我们的《遇见全能者》系列的一部分,该系列介绍使用NVIDIA Omniverse和OpenUSD加速其3D工作流程并创建虚拟世界的个人创作者和开发者。

作为澳大利亚昆士兰科技大学(QUT)的学生,艾米莉·博默尔在选择追求创意艺术还是科学方面犹豫不决。

然后她发现了工业设计,这使她能够深入研究和编码,同时探索可视化工作流程,如素描、动画和3D建模。

“遇见杂食动物:工业设计师将艺术与OpenUSD融合,为AI训练创建3D资产” 四海 第1张

现在,博默尔作为宝马集团(BMW Group)技术办公室的设计实习生将她的技能付诸实践。该团队使用NVIDIA Omniverse,这是一个用于开发和连接3D工具和应用程序的平台,以及通用场景描述(Universal Scene Description,简称OpenUSD),以增强其合成数据生成流程。

博默尔创建了逼真的3D资产,这些资产可以与SORDI.ai一起使用,SORDI.ai是Synthetic Object Recognition Dataset for Industries的缩写。SORDI.ai由宝马集团、微软和NVIDIA合作发表,帮助开发人员和研究人员简化和加速用于生产的AI训练。为了自动化图像生成,该团队开发了一种基于Omniverse Replicator的扩展,Omniverse Replicator是用于创建自定义合成数据生成工具的软件开发工具包。

作为SORDI.ai团队的一员,博默尔使用Blender和Adobe Substance Painter设计具有高度物理准确性和照片真实感的3D资产,有助于确保合成数据可以用于高效训练AI模型。

博默尔创建的所有资产都用于在NVIDIA Isaac Sim平台上测试和模拟自主机器人,该平台为开发人员提供了一套合成数据生成能力,可以为光线真实、物理准确的虚拟环境提供动力。

“遇见杂食动物:工业设计师将艺术与OpenUSD融合,为AI训练创建3D资产” 四海 第2张

为训练AI创建逼真的3D资产

作为设计实习生,博默尔的主要任务是动画和3D建模。这个过程始于拍摄目标物体的照片。然后,她使用这些2D照片作为参考,在Blender中将其与3D模型对齐。

3D对象可能由数千个多边形组成,所以博默尔会创建两个版本的资产——一个带有较少多边形数量的版本,一个带有较高多边形数量的版本。高多边形版本的细节可以烘焙到低多边形模型上,以保持更多细节,使资产看起来更逼真。

“遇见杂食动物:工业设计师将艺术与OpenUSD融合,为AI训练创建3D资产” 四海 第3张

一旦创建了3D资产,博默尔使用这些模型开始组装场景。她最喜欢Omniverse平台的方面是USD的灵活性,因为它使她可以轻松地对3D模型进行更改。

USD工作流程使得宝马集团的设计团队能够使用相同的组件创建许多不同的场景,因为他们可以轻松地访问存储在Omniverse Nucleus上的所有USD文件。在创建场景的部分时,博默尔从SORDI.ai的数十个USD模型中提取,并将它们添加到其他设计师将用来组装更大工厂场景的场景中。

博默尔只需更新原始资产的USD文件,就可以自动应用于包含它的所有引用文件。

“能够在Blender和Substance Painter中使用USD支持真是太棒了,”她说。“当我使用USD创建3D资产时,我可以确信它们将在它们将放置的场景中看起来和行为如预期。”

“遇见杂食动物:工业设计师将艺术与OpenUSD融合,为AI训练创建3D资产” 四海 第4张
艾米莉·博默尔的创作过程始于拍摄物体,然后使用该图像作为参考来构建和贴图3D模型。

使用合成数据构建工厂场景

Isaac Sim平台是SORDI.ai团队工作流程的关键部分。它用于开发使用生成式AI和程序算法进行3D场景生成的流程。该团队还开发了一种基于Omniverse Replicator的扩展,用于在生成合成图像时自动化场景中的随机性。

“像我这样的设计实习生的角色是为在Isaac Sim中构建的场景中使用的资产进行逼真建模和贴图,”博默尔说。“资产越逼真,合成图像就越逼真,对于实际情景的AI模型训练就越有效。”

数据标注——为图像、文本、音频或视频等数据添加相关标签的过程——可以帮助AI更好地理解数据,但是手动标注的过程可能非常耗时,特别是对于大量的内容而言。SORDI.ai通过使用合成数据来训练AI来解决这些挑战。

当将资产导入到Omniverse并创建文件的USD版本时,Boehmer会为它们添加适当的数据标签。一旦这些资产在场景中组合在一起,她可以使用Omniverse Replicator生成自动注释的图像,这些图像使用了原始的标签。

而使用SORDI.ai,设计师可以设置场景并仅需点击一次即可生成数千张带有注释的图像。

Boehmer将于9月20日星期三在Omniverse的直播中作为嘉宾出席,她将展示如何在Omniverse中使用Blender和Substance Painter进行合成图像生成流程。

“遇见杂食动物:工业设计师将艺术与OpenUSD融合,为AI训练创建3D资产” 四海 第5张

加入创作行列

任何人都可以构建自己的Omniverse扩展或连接器,以增强他们的3D工作流程和工具。创作者和开发人员可以免费下载Omniverse,企业团队可以将该平台用于他们的3D项目。

查看其他“Omnivores”的艺术作品,并在画廊中提交项目。了解创作者如何使用OpenUSD来加速各种3D工作流程,在最新的OpenUSD All Stars中。并使用Adobe、Autodesk、Blender、Epic Games、Reallusion等软件将工作流程连接到Omniverse。

通过下载免费的标准许可证来开始使用NVIDIA Omniverse,或了解如何使用Omniverse Enterprise来连接您的团队。开发人员可以开始使用Omniverse资源,并了解OpenUSD。探索与Omniverse连接的3D工具不断增长的生态系统。

通过订阅通讯获取有关该平台的最新消息,并在Instagram、Medium和Twitter上关注NVIDIA Omniverse。欲了解更多信息,请加入Omniverse社区,并查看Omniverse论坛、Discord服务器、Twitch和YouTube频道。

Leave a Reply

Your email address will not be published. Required fields are marked *