Press "Enter" to skip to content

将其变为数字木偶:GenMM是一种可以使用单个示例合成动作的AI模型

将其变为数字木偶:GenMM是一种可以使用单个示例合成动作的AI模型 机器学习 第1张将其变为数字木偶:GenMM是一种可以使用单个示例合成动作的AI模型 机器学习 第2张

计算机生成的动画每天都变得更加逼真。这种进步最能体现在视频游戏中。想想《古墓丽影》系列中的第一个Lara Croft和最近的Lara Croft。我们从一个只有230个多边形的木偶做出了怪异的动作,到了一个在屏幕上平滑移动的逼真角色。

在计算机动画中生成自然且多样化的动作长期以来一直是一个具有挑战性的问题。传统的方法,如动作捕捉系统和手动动画制作,已知是昂贵和耗时的,导致缺乏风格、骨骼结构和模型类型多样性的有限动作数据集。动画生成的手动和耗时特性需要在行业中寻找一种自动化解决方案。

现有的数据驱动运动合成方法在其效果方面受到限制。然而,近年来,深度学习已经成为计算机动画中一种强大的技术,能够在大型和全面的数据集上训练时合成多样化和逼真的动作。

深度学习方法在运动合成方面表现出色,但它们存在局限性,限制了它们的实际适用性。首先,它们需要长时间的训练时间,这可能是动画制作流程中的重要瓶颈。其次,它们容易出现视觉伪影,如抖动或过度平滑,影响合成动作的质量。最后,它们很难适应大型和复杂的骨架结构,限制了它们在需要复杂动作时的使用。

我们知道有一种可靠的运动合成方法在实际场景中有需求。然而,这些问题并不容易克服。那么,什么是解决方案?是时候见识一下GenMM了。

GenMM是一种基于运动最近邻和运动匹配的替代方法。它使用运动匹配,这是工业界广泛使用的角色动画技术,并产生高质量的动画,看起来自然并适应不同的局部环境。

将其变为数字木偶:GenMM是一种可以使用单个示例合成动作的AI模型 机器学习 第3张
GenMM可以使用单个输入生成动作。来源:http://weiyuli.xyz/GenMM/

GenMM是一种生成模型,可以从单个或少量示例序列中提取多样化的动作。它通过利用广泛的运动捕捉数据库来近似整个自然运动空间来实现这一点。

GenMM将双向相似性作为一种新的生成成本函数。这种相似性度量确保合成的运动序列只包含所提供的示例的运动补丁,反之亦然。这种方法保持了运动匹配的质量,同时实现了生成能力。为了进一步增强多样性,它使用了一个多阶段框架,逐步合成运动序列,这些运动序列与示例相比具有最小的分布差异。此外,还引入了一个无条件的噪声输入到管道中,受到基于GAN的图像合成方法成功的启发,以实现高度多样化的合成结果。

将其变为数字木偶:GenMM是一种可以使用单个示例合成动作的AI模型 机器学习 第4张
GenMM概述。来源:https://arxiv.org/pdf/2306.00378.pdf

除了其多样化运动生成能力外,GenMM还证明了它是一种可扩展的框架,可以扩展到超出仅使用运动匹配的能力的各种场景。这些场景包括运动完成、关键帧引导生成、无限循环和运动重组,展示了生成运动匹配方法所能实现的广泛应用范围。

Leave a Reply

Your email address will not be published. Required fields are marked *