3D 资产生成：游戏开发中的人工智能 #3

欢迎来到游戏开发中的人工智能！ 在这个系列中，我们将使用人工智能工具在短短5天内创建一个完全功能的农场游戏。通过这个系列，您将学习如何将各种人工智能工具纳入游戏开发工作流程中。我将向您展示如何使用人工智能工具进行以下方面的工作：

想要快速了解视频版本吗？您可以在这里观看。否则，如果您想要技术细节，请继续阅读！

注意：本教程适用于熟悉 Unity 开发和 C# 的读者。如果您对这些技术不熟悉，请先查看 Unity 入门系列。

第三天：3D 资源

在本教程系列的第二部分中，我们使用了游戏设计中的人工智能。更具体地说，我们使用 ChatGPT 来为游戏进行头脑风暴。

在本部分中，我们将讨论如何使用人工智能生成 3D 资源。简单来说：目前还不能。这是因为文本到 3D 的技术尚未达到可以在游戏开发中实际应用的水平。然而，这个情况正在迅速改变。请继续阅读，了解文本到 3D 的当前状态、为什么它尚不实用以及文本到 3D 的未来。

如第一部分所讨论的，文本到图像的工具（例如 Stable Diffusion）在游戏开发工作流程中非常有用。但是，对于文本到 3D，即从文本描述生成 3D 模型，近期在这个领域中有许多重要的发展：

这些方法中的许多（除了 CLIPMatrix 和 CLIP-Mesh-SMPLX）都基于视图合成，即生成主题的新视图，而不是传统的 3D 渲染。这是 NeRF（神经辐射场）或神经网络视图合成的基本思想。

如果您是游戏开发者，这一切对您意味着什么？目前，还没有意义。这项技术尚未达到在游戏开发中实用的水平。让我们谈谈为什么。

注意：本节适用于熟悉传统 3D 渲染技术（如网格、UV 映射和摄影测量）的读者。

虽然视图合成令人印象深刻，但 3D 世界依赖于网格，而不是 NeRF（神经辐射场）。然而，目前正在进行将 NeRF 转换为网格的工作。实际上，这类似于摄影测量，其中多张现实世界物体的照片被合并为 3D 资源。

使用文本到 NeRF 到网格的流程生成的资产的实际用途与使用摄影测量生成的资产类似，即生成的网格不能立即用于游戏，并且需要大量工作和专业知识才能成为适用于游戏的资产。从这个意义上说，NeRF 到网格可能是一个现成的有用工具，但尚未达到文本到 3D 的变革潜力。

由于NeRF-to-mesh（即神经辐射体到网格的转换）与摄影测量学类似，目前最适合创建具有显著手动后处理的超高保真度资产，因此在5天内创建农场游戏并不实际。在这种情况下，我决定只使用不同颜色的立方体来表示游戏中的农作物。

3D 资产生成：游戏开发中的人工智能 #3 四海第3张

不过，这个领域正在迅速变化，可能在不久的将来会有可行的解决方案。接下来，我将讨论文本到3D可能发展的一些方向。

虽然文本到3D最近取得了长足的进步，但现在与文本到图像相比，仍存在着显著差距。我只能猜测这个差距将如何被弥合。有两个可能的方向最为明显：

NeRF-to-mesh和网格生成的改进。正如我们所见，当前的生成模型与摄影测量学类似，需要大量工作才能产生适用于游戏的资产。虽然在某些情况下这是有用的，比如创建逼真的高保真度资产，但与从头开始制作低多边形资产相比，它仍然更耗时，尤其是如果你像我一样使用超低多边形的艺术风格。
允许直接在引擎中渲染NeRF的新渲染技术。虽然目前没有官方公告，但可以猜测NVIDIA和Google等公司可能正在开展这方面的工作。

当然，只有时间才能告诉我们答案。如果您想及时了解最新进展，请随时关注我的Twitter账号。如果有我错过的新进展，请随时与我联系！

点击这里阅读第4部分，我们将使用AI制作2D资产。

感谢Poli @multimodalart提供有关最新开源文本到3D的信息。