49 search results for "Motion"

人工智能正步入几乎每个行业。从一个故事中创造出自然的人类动作有着彻底改变动画、视频游戏和电影行业的能力。其中一项最困难的任务是故事到动作的转换，当角色必须在不同区域移动并执行某些动作时就会出现这种情况。基于详细的书面描述，这项任务需要高级运动语义控制和处理轨迹的低级控制之间的平滑集成。 尽管已经付出了很多努力来研究文本到动作和角色控制，但还没有找到适当的解决方案。现有的角色控制方法有很多局限性，因为它们不能处理文本描述。即使是当前的文本到动作方法也需要更多的位置约束，导致生成不稳定的动作。 为了克服所有这些挑战，一组研究人员提出了一种独特的方法，该方法在生成轨迹方面非常有效，并生成了受输入文本影响的可控且无限长的动作。该方案包括以下三个主要组成部分。 文本驱动的动作调度：现代大型语言模型从长篇的文字描述中获取文本、位置和持续时间的序列，并将它们用作文本驱动的动作调度器。这一阶段确保生成的动作基于故事，并包含有关每个动作位置和长度的细节。 文本驱动的动作检索系统：将运动匹配和运动轨迹和语义的约束相结合，创建了一个全面的动作检索系统。这确保生成的动作满足预期的语义和位置属性，同时还包括文本描述。 渐进式遮罩变换器：设计了一个渐进式遮罩变换器，用于解决转场动作中频繁出现的问题，如脚滑动和不寻常的姿态。这个元素对于提高生成的动作质量、产生过渡更流畅、外观更逼真的动画至关重要。 研究团队表示，该方法已在三个不同的子任务上进行了测试：动作融合、时间动作组合和轨迹跟踪。与早期的运动合成技术相比，评估结果显示在每个方面性能都有所提升。研究人员总结了他们的主要贡献如下。 从长篇文字描述生成全面动作引入了轨迹和语义，从而解决了故事到动作的问题。 提出了一种名为文本驱动的运动匹配的新方法，使用广泛的文本输入提供精确和可定制的运动合成。 在轨迹跟踪、时间动作组合和动作融合子任务中，该方法优于现有技术，这已通过在基准数据集上进行的实验证明。 总之，该系统在从文字叙述中综合生成人类动作方面无疑是一个重大的进步。它为故事到动作工作所带来的问题提供了完整的解决方案。它无疑将对动画、游戏和电影行业产生颠覆性的影响。

文本到视频扩散模型在近年来取得了显著进展。现在只需提供文本描述，用户就可以创建逼真或富有想象力的视频。这些基础模型也被调整为生成与特定外观、风格和主题相匹配的图像。然而，文本到视频生成中定制运动的领域仍需探索。用户可能想创建具有特定运动的视频，比如汽车向前行驶然后向左拐。因此，将扩散模型调整为创建更具体内容以满足用户偏好变得重要。 本文的作者提出了MotionDirector，帮助基础模型实现动作定制同时保持外观多样性。该技术使用双路径架构，将模型分别训练为学习给定单个或多个参考视频中的外观和动作，从而方便将定制运动概括到其他设置中。 双架构包括空间路径和时间路径。空间路径具有一个基础模型，其在每个视频的转换器层中集成了可训练的空间LoRAs（低秩调整）。这些空间LoRAs使用每个训练步骤中随机选择的单个帧进行训练，以捕捉输入视频的视觉属性。相反，时间路径复制了基础模型，并与空间路径共享空间LoRAs，以适应给定输入视频的外观。此外，此路径中的时间转换器还通过使用输入视频的多个帧进行培训来增强时间LoRAs，以掌握固有的动作模式。 仅通过部署经过训练的时间LoRAs，基础模型就可以合成具有多样外观的学习动作的视频。双架构使模型能够分别学习视频中物体的外观和动作。这种解耦使得MotionDirector能够将视频的外观和动作分离，然后从各种源视频中进行组合。 研究人员在几个基准测试中比较了MotionDirector的性能，涵盖了80多种不同的动作和600个文本提示。在UCF Sports Action基准测试中（包含95个视频和72个文本提示），MotionDirector的运动保真度更好，被人工评估者75%的时间受到青睐。该方法还优于基础模型的25%偏好。在第二个基准测试中，即LOVEU-TGVE-2023基准测试中（包含76个视频和532个文本提示），MotionDirector的表现优于其他可控生成和基于调整的方法。结果表明，可以使用MotionDirector定制多种基础模型，以产生具有多样性和所需运动概念的视频。 MotionDirector是一种将文本到视频扩散模型调整为生成具有特定运动的视频的有前景的新方法。它在学习和调整主题和相机的具体运动方面表现出色，并可用于生成具有各种视觉风格的视频。 MotionDirector可以改进的一点是学习参考视频中多个主题的运动。然而，即使有这个限制，MotionDirector仍具有提升视频生成的灵活性的潜力，允许用户制作符合其偏好和需求的视频。