最近，在2D图片制作方面取得了显著的进展。输入文本提示使生成高保真度图形变得简单。因为需要3D训练数据，所以将文本到图像创建的成功很少转移到文本到3D领域。由于扩散模型和可微分3D表示的良好特性，最近基于分数蒸馏优化（SDS）的方法旨在从预训练的大型文本到图像生成模型中蒸馏3D知识，并取得了令人印象深刻的结果，而不是使用大量3D数据从头开始训练大型文本到3D生成模型。DreamFusion是一项引入了新方法的示范性工作，用于3D资产创建。
在过去的一年中，这些方法论已迅速发展，根据2D到3D蒸馏范式。通过应用多个优化阶段，同时优化扩散和3D表示，制定具有更高精度的分数蒸馏算法，或改进整个流程的细节，已提出了许多研究来提高生成质量。虽然上述方法可以产生细腻的纹理，但由于2D扩散先验不是依赖性的，确保生成的3D内容的视图一致性是困难的。因此，已经做出了一些努力，将多视图信息强制加入预训练的扩散模型中。
然后，将基本模型与控制网络集成，以实现受控的文本到多视图图片生成。同样，研究团队仅训练控制网络，MVDream的权重全部冻结。实验表明，相对于绝对世界坐标系中描述的相机姿态条件图片，相对于条件图片的相对姿态条件更好地控制文本到多视图生成，尽管MVDream是在训练时使用绝对世界坐标系中的相机姿态进行训练的。尽管如此，这与预训练的MVDream网络的描述相违背。此外，只有通过直接采用2D ControlNet的控制网络与基本模型交互时，才能轻松实现视图一致性，因为它的条件机制是为单一图像创建而构建的，需要考虑多视图情况。
为了解决这些问题，浙江大学、西湖大学和同济大学的研究团队基于原始的ControlNet架构创建了一种独特的调节技术，简单而成功地实现了受控的文本到多视图生成。他们联合使用了庞大的2D数据集LAION和3D数据集Objaverse来训练MVControl。在这项研究中，研究团队研究了将边缘图作为条件输入。然而，他们的网络在利用不同类型的输入情况（如深度图、草图图像等）方面是无限制的。一旦训练完成，研究团队可以使用MVControl为受控文本到3D资产生成提供3D先验。具体而言，研究团队使用基于MVControl网络和预训练的Stable-Diffusion模型的混合扩散先验。这是一个由粗到细的生成过程。当在粗阶段拥有良好的几何形状时，研究团队仅优化细化步骤中的贴图。他们的全面测试表明，他们提出的方法可以使用输入条件图像和书面描述生成高保真度、细粒度受控的多视图图像和3D内容。
总结起来，以下是他们的主要贡献。
• 在训练完成网络后，可将其用作混合扩散的组成部分，通过SDS优化实现对文本到3D内容合成的受控。
• 研究团队提出了一种独特的网络设计，以实现细粒度受控的文本到多视图图片生成。
• 他们的方法可以生成高保真度的多视图图像和3D资产，在输入条件图像和文本提示的精细控制下，如 extensive experimental results 所示。
• 除了通过 SDS 优化生成 3D 资产外，他们的 MVControl 网络还可以在 3D 视觉和图形社区中用于各种应用。