生成式人工智能在过去两年取得了巨大的飞跃，这要归功于大规模扩散模型的成功发布。这些模型是一种生成模型，可以用来生成逼真的图像、文本和其他数据。
扩散模型通过从随机噪声图像或文本开始，逐渐添加细节。这个过程被称为扩散，类似于现实世界中物体逐渐变得越来越详细的过程。它们通常在一个大型真实图像或文本数据集上进行训练。
另一方面，视频生成在近年来也取得了显著的进展。它包含了生成逼真和动态视频内容的令人兴奋的能力。这项技术利用深度学习和生成模型生成从超现实的梦幻景观到对我们世界的逼真模拟的视频。
利用深度学习的能力来精确控制视频的内容、空间排列和时间演化，对各种应用领域都具有巨大的潜力，从娱乐到教育等等。
在历史上，这个领域的研究主要集中在视觉线索上，严重依赖于初始帧图像来引导后续的视频生成。然而，这种方法有其局限性，特别是在预测视频的复杂时间动态方面，包括摄像机运动和复杂的物体轨迹。为了克服这些挑战，最近的研究已经转向将文本描述和轨迹数据作为额外的控制机制。虽然这些方法取得了重大进展，但它们也有自己的限制。
让我们来认识一下DragNUWA，它解决了这些限制。
DragNUWA是一个具有细粒度控制的轨迹感知视频生成模型。它无缝集成了文本、图像和轨迹信息，提供了强大和用户友好的可控性。
DragNUWA有一个生成逼真视频的简单公式。这个公式的三个支柱是语义、空间和时间控制。这些控制分别通过文本描述、图像和轨迹来实现。
文本控制以文本描述的形式进行。这将意义和语义注入到视频生成中。它使模型能够理解和表达视频背后的意图。例如，它可以区分真实世界中的鱼游泳和一幅画中的鱼。
对于视觉控制，使用图像。图像提供了空间上下文和细节，有助于准确地表示视频中的对象和场景。它们是文本描述的重要补充，为生成的内容增加了深度和清晰度。
这些都是我们熟悉的东西，而真正的区别在于DragNUWA在最后一个组成部分中的应用：轨迹控制。 DragNUWA采用开放域轨迹控制。而以前的模型在处理轨迹复杂性方面存在困难，DragNUWA采用了轨迹采样器（TS）、多尺度融合（MF）和自适应训练（AT）来应对这一挑战。这一创新使得可以生成具有复杂的、开放域的轨迹、逼真的摄像机运动和复杂的物体交互的视频。
DragNUWA提供了一个端到端的解决方案，将文本、图像和轨迹三个基本的控制机制统一起来。这种整合赋予用户对视频内容的精确和直观的控制能力。它重新构想了视频生成中的轨迹控制。它的TS、MF和AT策略实现了对任意轨迹的开放域控制，使其适用于复杂和多样化的视频场景。