Tag: Computer vision

将视频分成许多层，每个层都有自己的阿尔法混合，并将这些层重新组合成原始视频，这就是被称为“视频抠图”的挑战。由于可以在合成之前交换或单独处理层，因此在视频编辑行业中具有许多用途，并且已经研究了几十年。需要仅关注兴趣物体的掩膜的应用包括视频制作中的描边和在线会议中的背景模糊。然而，通常希望能够生成包含不仅兴趣物体而且其相关效果（包括阴影和反射）的视频抠图。这可以提高最终剪辑影片的逼真度，同时减少对繁琐的手动分割次要效果的需求。 在对象去除等应用中，重建干净的背景是首选，而能够消除前景对象的相关影响有助于实现这一目标。尽管具有这些优势，但是由于该问题的不适定性，与标准抠图问题相比，研究较少。 Omnimatte是迄今为止解决此问题最有希望的努力。 Omnimattes是记录前景移动物体及其产生效果的RGBA层。 Omnimatte使用同伦来建模背景，这意味着它只能在背景是平面的视频或仅存在旋转运动的视频中有效。 D2NeRF通过分别使用两个辐射场对场景的动态和静态组件进行建模，努力解决这个问题。所有处理都在三个维度中进行，该系统可以处理具有大量摄像机运动的复杂场景。此外，不需要输入掩膜，使其完全是自主的。如何将定义在视频上的2D指导（如粗糙的掩膜）与之结合尚不清楚，但它确实可以有效地将所有移动物体分割出静态背景。 马里兰大学和Meta的最新研究提出了一种方法，通过使用三维背景模型和二维前景层结合了两者的优点。 难以在三维中创建的物体，动作和效果都可以通过轻量级的二维前景层来表示。同时，三维背景建模允许处理具有复杂几何形状和非旋转摄像机运动的背景，这为处理比2D方法更多样的电影铺平了道路。研究人员将这种技术称为OmnimatteRF。 实验结果表明，它在广泛的视频范围内表现出强大的性能，而无需为每个视频进行个别参数修改。 D2NeRF已经生成了一个使用Kubrics渲染的由5个视频组成的数据集，以客观分析3D环境中的背景分离。这些数据集是相对简单的内部设置，其中一些移动物体创建了实心阴影。此外，该团队还根据开源的Blender电影生成了五个视频，这些电影具有复杂的动画和照明条件，以获得更困难和逼真的场景。与过去的研究相比，两个数据集都展示了更好的性能。 如果某个部分始终位于阴影中，则背景模型将无法准确恢复该部分的颜色。由于动画层具有阿尔法通道，因此应该可以仅记录附加阴影而保留背景的原始颜色。不幸的是，目前的上下文中对此问题的边界不清晰，使得很难找到可行的解决方案。

计算机视觉中最具挑战和关键性的任务之一是实例分割。在图像或三维点云中精确描绘和分类对象的能力对于各种应用至关重要，从自动驾驶到医学图像分析。多年来，在开发最先进的实例分割模型方面取得了巨大进展。然而，这些模型通常需要应对与其训练分布不同的各种真实场景和数据集。将分割模型调整以处理这些分布范围之外（OOD）的情况的挑战推动了创新研究。一种引起重大关注的开创性方法是Slot-TTA（测试时间调整）。 在快速发展的计算机视觉领域中，实例分割模型取得了显著进展，使机器能够识别和精确分割图像和三维点云中的对象。这些模型已成为许多应用的基础，从医学图像分析到无人驾驶汽车。然而，它们面临着一个常见而严峻的对手-适应各种真实世界的场景和超出其训练数据范围的数据集。无法无缝地从一个领域过渡到另一个领域在有效部署这些模型方面构成了重大障碍。 卡内基梅隆大学、Google Deepmind和Google Research的研究人员推出了一种突破性解决方案，称为Slot-TTA，以解决这一挑战。这种创新方法旨在实现实例分割的测试时间调整（TTA）。Slot-TTA将基于槽位的图像和点云渲染组件的能力与最先进的分割技术相结合。Slot-TTA的核心思想是使实例分割模型能够动态适应OOD场景，从而显著提高其准确性和多功能性。 Slot-TTA基于调整的兰德指数（ARI）作为其主要分割评估指标。它在一系列数据集上进行了严格的训练和评估，包括多视图姿势的RGB图像、单视图的RGB图像和复杂的三维点云。Slot-TTA的区别特征在于其能够利用重建反馈进行测试时间调整。这一创新涉及对以前未见过的视点和数据集的分割和渲染质量进行迭代改进。 在多视图姿势的RGB图像中，Slot-TTA显示出强大的竞争力。通过对MultiShapeNetHard（MSN）数据集进行全面评估，证明了其适应性。该数据集包含超过51,000个ShapeNet对象，精心渲染在真实世界的HDR背景下。MSN数据集中的每个场景都有九个姿势RGB渲染图像，被策略性地分为Slot-TTA的训练和测试的输入和目标视图。研究人员特别注意确保训练集和测试集之间的对象实例之间没有重叠，并且场景中存在的对象数量没有重叠。这种严格的数据集构建对于评估Slot-TTA的鲁棒性至关重要。 在评估中，Slot-TTA与几个基准进行了比较，包括Mask2Former、Mask2Former-BYOL、Mask2Former-Recon和Semantic-NeRF。这些基准是用于比较Slot-TTA在训练分布内外的性能的基准。结果令人瞩目。 首先，Slot-TTA在OOD场景中使用TTA超过了Mask2Former，这是一种最先进的2D图像分割器。这表明Slot-TTA在适应各种真实场景方面的优势。 其次，在Mask2Former-BYOL中添加来自Bartler等人（2022年）的自监督损失未能带来改进，突显出并非所有TTA方法都同样有效。 第三，Slot-TTA没有分割监督，仅用于类似于OSRT（Sajjadi等人，2022a）的跨视图图像合成的变体，与像Mask2Former这样的有监督分割器相比效果显著下降。这一观察结果强调了在训练过程中进行分割监督对于有效的TTA的必要性。 Slot-TTA的强大之处还包括合成和分解新颖的未见RGB图像视图。使用与之前相同的数据集和训练-测试划分，研究人员评估了Slot-TTA的像素精确重构质量和分割ARI准确性，用于五个新颖的未见视点。此评估包括在TTA训练期间未见过的视图。结果令人震惊。 Slot-TTA在这些未知视点上的渲染质量显著提高，展示了它在新颖场景中增强分割和渲染质量的能力。相比之下，强大的竞争对手Semantic-NeRF在这些未知视点上很难推广，突出了Slot-TTA的适应性和潜力。 总之，Slot-TTA在计算机视觉领域代表了一次重大飞跃，解决了将分割模型适应多样的现实场景的挑战。通过结合以槽为中心的渲染技术、先进的分割方法和测试时适应性，Slot-TTA在分割准确性和多功能性方面取得了显著的改进。这项研究不仅揭示了模型的局限性，还为计算机视觉领域的未来创新铺平了道路。Slot-TTA承诺在不断变化的计算机视觉领域提升实例分割模型的适应性。

大规模预训练的视觉与语言模型在众多应用中展示出了非凡的性能，使得可以用无需指定固定的支持类别，而是通过（几乎任意的）自然语言查询进行零样本开放词汇推理。然而，最近的研究揭示了这些模型的一个根本缺陷。例如，它们无法理解超越名词的视觉语言概念（VLC），如非物体词语（例如属性、动作、关系、状态等）的意义，或者它们在组合推理方面的困难，如理解句子中词语顺序的重要性。 视觉与语言模型是强大的机器学习算法，可以学习将文本与图像匹配，当被要求生成视频标题或摘要时，它们展示出了非凡的结果。尽管这些模型擅长区分物体，但它们经常需要帮助理解概念，例如物体的属性或场景中物品的排列。例如，一个视觉与语言模型可能会看到图像中的杯子和桌子，但无法理解杯子在桌子上方的概念。 麻省理工学院的研究人员展示了一种利用计算机生成数据来帮助视觉与语言模型克服这个缺陷的新技术。具体而言，他们提出增强生成的视觉和文本数据的VLC和组合性方面，然后使用这些数据来微调VL模型，指导它们更加关注这些特征。此外，与实际数据始终伴随的隐私问题相比，合成数据不仅本质上是免费和无限可扩展的，而且可以不受隐私问题的限制。创建能够有效用于增强在大量实际数据上预训练的VL模型的VLC和组合性方面的合成数据，还面临其他技术挑战。与大多数以前关于生成合成视觉数据的工作不同，他们必须开发描述场景的组合元素的图像和文本。此外，他们生成利用真实物理3D模拟的合成视频，例如多样的3D环境和多样的3D物体、人体动作和动作资产，与物体的交互以及不同的摄像机角度。 以前的工作利用动作资产生成合成数据，但视觉数据没有伴随文本标题，并且需要考虑组合性。研究人员为合成视觉概念（SyViC）做出贡献，这是一个大规模（百万级）生成的合成VL数据集，具有丰富的文本标题，可以通过数据合成代码轻松扩展，以及所有先前生成的百万级合成数据。 贡献 研究人员贡献了SyViC – 一个百万级的合成数据集，具有丰富的文本注释，旨在增强VL模型的VLC理解和组合推理能力，以及其合成和潜在可扩展性的方法和生成代码库2。 有效的通用VL模型微调，利用SyViC数据改善强大的预训练VL模型的特性，而不损害其零样本性能。 实验结果和全面的消融研究表明，在最新的VL-Checklist、ARO和Winoground基准测试中，VLC理解和组合推理有显著改善（在某些情况下超过10%），并在最流行的CLIP模型及其衍生模型（例如最新的CyCLIP）上得到验证。 结果 使用所提出的方法和SyViC合成数据生成了所有模型的变体。在对SyViC进行微调之前，将每个模型与其分别在大规模实际数据上训练的源模型进行了比较。根据研究人员的发现，无论是SyViC合成数据还是提出的微调方法，都相对于各自的源基线表现出显著的改进。此外，研究人员还展示了在VL-Checklist和ARO基准测试中为CLIP获得的个别VLC指标改进，分别达到9.1%和12.6%的绝对改进。这证明了该方法和SyViC合成数据在提高VL模型的VLC理解和组合推理能力方面的效率和潜力。 在这里尝试 https://synthetic-vic.github.io/ 局限性 尽管研究人员在三个不同的基准测试中获得了相当有希望的结果，但他们的工作还存在一些限制。例如，图形模拟器对照片亮度、传感器噪声和反射函数的模型与实际世界相比较简化，可能影响颜色恒定性的稳健性。更复杂的领域适应和渲染技术可能需要进一步提高结果。此外，对合成数据的缩放规律进行更深入的研究将是充分发挥该工作潜力的一种优秀方式。 总结 大型视觉和语言模型决定了计算机视觉和多模态感知的现状，在多个困难的基准测试中取得了尖端的成果。然而，现有模型在组合推理和理解物体名词之外的概念（如属性和关系）方面需要帮助。这是第一次研究合成数据是否可以减轻这些不足。麻省理工学院的研究人员提出了一个数据生成流水线，用于创建一个百万级的合成图像数据集和相应的标题，并提供了一种高效的微调策略和全面的分析，以提高多模态模型的组合和概念理解能力，同时不影响它们的零样本分类性能。

一种称为Mixture-of-Experts (MoE)的神经网络架构将各种专家神经网络的预测结果结合起来。MoE模型处理复杂的工作，其中问题的几个子任务或元素需要专门的知识。它们的引入是为了增强神经网络的表示能力，并使其能够处理各种具有挑战性的任务。 此外，一种称为稀疏门控Mixture-of-Experts (MoE)模型的神经网络架构通过在门控机制中添加稀疏性来扩展传统的MoE模型的概念。这些模型的创建旨在提高MoE设计的效率和可扩展性，使其能够处理大规模的任务，并降低计算成本。 由于它们能够在每个给定的输入标记上独占激活模型参数的一小部分，它们可以将模型大小与推理效率分离。 在使用神经网络（NNs）时，尤其是当只有少量计算资源可用时，平衡性能和效率仍然是困难的。最近，稀疏门控Mixture-of-Experts模型（稀疏MoEs）被视为潜在的解决方案，它们可以将模型大小与推理效果分离。 稀疏MoEs提供了增加模型功能同时降低计算成本的可能性。这使得它们成为与Transformer集成的选择，后者是大规模视觉建模的主要架构选择。 因此，苹果研究团队在他们的论文《Mobile V-MoEs: Scaling Down Vision Transformers via Sparse Mixture-of-Experts》中介绍了稀疏Mobile Vision MoEs的概念。这些V-MoEs是一种高效、适用于移动设备的Mixture-of-Experts设计，能够在缩小视觉Transformer（ViTs）的同时保持卓越的模型性能。 研究人员强调他们开发了一种简单而强大的训练过程，通过利用语义超类来引导路由器训练，避免了专家不平衡的问题。它使用每个图像一个路由器，而不是每个补丁的路由器。在传统的每个补丁的路由器中，通常为每个图像激活更多的专家。然而，每个图像一个路由器减少了每个图像激活的专家数量。 研究团队通过训练基线模型开始训练阶段。然后，在训练数据集中保留的验证集上记录了模型的预测结果，创建了一个混淆矩阵。然后，使用这个混淆矩阵作为基础，对混淆图进行图聚类算法处理。由此过程形成了超类划分。 他们表示该模型在标准的ImageNet-1k分类基准测试上呈现了实证结果。他们从头开始在包含1.28M个图像的ImageNet-1k训练集上训练了所有模型，然后在包含50K个图像的验证集上评估了它们的Top-1准确率。 研究人员希望将MoE设计应用于除了ViTs之外的其他移动设备友好的模型。他们还打算考虑其他视觉任务，如目标检测。此外，他们希望对所有模型的实际设备延迟进行量化。

在向可适应、普适视觉模型迈出重大一步的突破性进展中，来自微软亚洲研究院的研究人员发布了InstructDiffusion。这一创新性框架通过为多种视觉任务提供统一的接口，革命性地改变了计算机视觉领域的格局。论文《InstructDiffusion: A Generalist Modeling Interface for Vision Tasks》介绍了一种能够同时处理各种视觉应用的模型。 InstructDiffusion的核心是一种新颖的方法：将视觉任务构建为人类直观的图像处理过程。与依赖预定义输出空间（如类别或坐标）的传统方法不同，InstructDiffusion在灵活的像素空间中运作，更接近人类感知。 该模型旨在根据用户提供的文本指令修改输入图像。例如，“在红色中圈出男人的右眼”这样的指令可以使模型适用于关键点检测等任务。同时，“将蓝色掩码应用于最右侧的狗”这样的指令可用于分割。 支撑该框架的是去噪扩散概率模型（DDPM），它生成像素输出。训练数据包括三元组，每个三元组由指令、源图像和目标输出图像组成。该模型被设计为处理三种主要输出类型：RGB图像、二值掩码和关键点。这涵盖了广泛的视觉任务，包括分割、关键点检测、图像编辑和增强。 关键点检测 a) 在鲸鱼的右眼周围创建一个黄色圆圈。 (b) 用蓝色圆圈标记汽车标志。 分割 a) 将镜子中猫的像素标记为蓝色，其他保持不变。 (b) 将阴影像素涂成蓝色，保持其他像素的当前外观。 图像编辑 模型生成的图像结果 低级任务 InstructDiffusion也适用于包括图像去模糊、去噪和去水印在内的低级视觉任务。…

在图像处理领域中，从质量较差的面部照片中恢复高清信息仍然是一项困难的任务。由于这些图像经历了许多降级，经常导致关键信息的丢失，这些活动本质上很困难。这个问题凸显了低质量和高质量照片之间的质量差异。接下来的问题是是否可以利用低质量领域的固有特性来更好地理解和改善面部修复的过程。 最近的方法已经融入了码本先验、自动编码器和高质量特征集来解决这个问题。然而，这些方法仍然有一个显著的弱点。它们通常依赖于一个仅在高质量数据上训练的单个编码器，忽略了低质量图像所具有的特殊复杂性。虽然创新，但这种方法可能无意中扩大了领域差距，错过了低质量数据的细微差别。 最近有一篇新的论文提出了一个新的解决方案来解决这些问题。这种方法使用额外的“低质量”分支从模糊或不清晰的图像中提取重要细节，将其与更清晰的图像细节结合起来，以改善面部图像恢复。 他们的工作有以下几个突出之处： 1. 他们添加了一个特殊的工具来捕捉低质量图像的独特特征，弥合了清晰和不清晰图像之间的差距。 2. 他们的方法混合了低质量和高质量图像的细节。这种混合有助于克服图像恢复中的常见问题，导致更清晰、更好的结果。 3. 他们引入了一种称为DAEFR的技术来处理模糊或不清晰的面部图像。 具体而言，他们的方法包括以下几个关键步骤： 离散码本学习阶段：他们为HQ和LQ图像建立码本。使用向量量化，他们训练一个自编码器进行自重构，以捕捉领域特定的信息。这个阶段产生了HQ和LQ领域的编码器和码本。 关联阶段：他们借鉴了CLIP模型的灵感，将HQ和LQ领域的特征进行关联。来自领域特定编码器的特征被展平成补丁，构建相似性矩阵。该矩阵以空间位置和特征级别的接近度来衡量这些补丁之间的接近程度。目标是最小化领域差距，产生两个整合了来自两个领域信息的关联编码器。 特征融合和编码预测阶段：在获得关联编码器后，使用这两个编码器对LQ图像进行编码。一个多头交叉注意力模块将这些编码器的特征进行融合，生成一个融合特征，包含来自HQ和LQ领域的信息。随后，一个Transformer预测HQ码本的相关编码元素，这些元素由解码器用于生成恢复的HQ图像。 作者通过一系列实验评估了他们的方法。他们使用PyTorch框架在70,000张高质量人脸图像的FFHQ数据集上训练了他们的模型。这些图像经过调整大小和合成降级以供训练。对于测试，他们选择了四个数据集：CelebA-Test和三个真实世界的数据集。他们的评估指标包括具有真实值的数据集的PSNR和SSIM，以及没有真实值的真实世界数据集的FID和NIQE。与最先进的方法相比，他们的DAEFR模型在真实世界数据集上展现出了更好的感知质量，并在合成数据集上展现出了竞争性的性能。此外，消融研究表明使用两个编码器是最优的，他们提出的多头交叉注意力模块改善了特征融合，突显了该方法在恢复退化图像方面的有效性。 总而言之，本文介绍了一篇新的论文，旨在解决图像恢复的挑战，特别是针对低质量的面部照片。研究人员引入了一种新颖的方法DAEFR，利用高质量和低质量图像特征来产生更清晰、更精细的恢复结果。这种方法独特地使用了一个双编码器系统，一个用于高质量图像，一个用于低质量图像，弥合了两个领域之间的差距。该解决方案经过了严格的评估，显示出比以前的方法有显著的改进。该论文的研究结果强调了DAEFR在提高图像处理领域的潜力，为更准确的面部图像恢复铺平了道路。

多模态研究近来在文本和视觉的计算机理解方面取得了重大进展。通过像DALL-E和稳定扩散（SD）这样的文本到图像生成模型，可以将现实世界环境中的复杂语言描述转化为高保真度的视觉图像。另一方面，像Flamingo和BLIP这样的图像到文本生成模型展示了理解图片中复杂语义的能力，并提供连贯的描述。尽管文本到图像生成和图片描述任务非常相关，但它们通常被独立研究，这意味着这些模型之间的交互需要被探索。文本到图像生成模型和图像到文本生成模型能否相互理解是一个有趣的话题。 为了解决这个问题，他们使用了一个称为BLIP的图像到文本模型为特定图像创建文本描述。然后，将这个文本描述输入到一个名为SD的文本到图像模型中，生成一个新的图像。他们认为，如果生成的图片与源图片相似，BLIP和SD可以相互交流。通过共同的理解，每一方对潜在理念的理解能力可以得到提高，从而实现更好的描述和图像合成。这个概念在图1中得到了展示，顶部标题导致了对原始图片更准确的重建，并且比底部标题更好地代表了输入图片。 https://arxiv.org/abs/2212.12249 来自慕尼黑大学，西门子公司和牛津大学的研究人员开发了一个重建任务，其中DALL-E使用Flamingo为给定的图像生成描述，从而合成一张新的图片。他们创建了两个重建任务，文本-图像-文本和图像-文本-图像，来测试这个假设（见图1）。对于第一个重建任务，他们计算使用预训练的CLIP图像编码器提取的图像特征之间的距离，以确定重建的图片和输入图片的语义相似度。然后，将生成的文本的质量与人工标注的标题进行比较。他们的研究表明，生成的文本的质量影响重建的表现。这导致他们的第一个发现：能够重建原始图片的描述是图片的最佳描述。 类似地，他们创建了相反的任务，SD从文本输入创建一张图片，然后BLIP从创建的图片创建文本。他们发现，产生原始文本的图片是最好的文本插图。他们假设在重建过程中，输入图片的信息在文本描述中被准确地保留下来。这个有意义的描述导致了对成像模态的忠实恢复。他们的研究为细调提供了一个独特的框架，使文本到图像和图像到文本模型更容易相互交流。 具体来说，在他们的范式中，生成模型从重建损失和人工标签中获得训练信号。一个模型首先为另一种模态的特定图片或文本创建一个表示，然后不同的模型将这个表示翻译回输入模态。重建组件创建一个正则化损失，来引导初始模型的细调。他们以这种方式得到了自我监督和人类监督，增加了生成会导致更准确的重建的可能性。例如，图像字幕模型需要偏好不仅与标记的图像-文本配对相对应的标题，还需要偏好那些可以产生可靠重建的标题。 相互代理通信与他们的工作密切相关。代理之间的主要信息交流方式是语言。但是，他们如何确保第一个和第二个代理对猫或狗的定义是一样的呢？在这项研究中，他们要求第一个代理检查一张图片并生成描述它的句子。在获得文本后，第二个代理根据它来模拟一张图片。后一阶段是一种具体化过程。根据他们的假设，如果第二个代理对输入图片的模拟接近第一个代理接收到的输入图片，那么通信就是有效的。从根本上说，他们评估了语言的有用性，语言作为人类的主要交流方式。特别是，他们的研究中使用了新建立的大规模预训练图片字幕模型和图像生成模型。多项研究证明了他们提出的框架在无需训练和细调情况下对各种生成模型的好处。特别是，在无需训练的范式中，他们显著提高了字幕和图片的生成，而在细调中，两种生成模型都取得了更好的结果。 以下是他们的关键贡献的概要： • 框架：据他们所知，他们是第一个研究如何通过易于理解的文本和图片表示来传达传统的图像到文本和文本到图像生成模型的人。相比之下，类似的工作通过嵌入空间隐式地集成了文本和图片的创建。 • 发现：他们发现评估文本到图像模型创建的图片重建可以帮助确定字幕的写作质量。能够最准确重建原始图片的字幕应该用于该图片。类似地，最佳的字幕图像是能够最准确重建原始文本的图像。 • 增强：根据他们的研究，他们提出了一个全面的框架来改进文本到图像和图像到文本模型。文本到图像模型计算的重建损失将用作细调图像到文本模型的正则化，图像到文本模型计算的重建损失将用于细调文本到图像模型。他们研究并确认了他们方法的可行性。

在文本到图像领域取得了显著的进展，引发了研究界对扩展到3D生成的热情。这种兴奋主要是由于出现了利用预训练的2D文本到图像扩散模型的方法。 在这个领域的一个重要发展是由Dreamfusion完成的创造性工作。他们引入了一种名为Score Distillation Sampling (SDS)算法的新方法，这种方法的差异很大，因为它可以从文本指令中创建许多不同的3D对象。尽管它革命性的方法，但它也存在一些挑战。一个重要的限制是其对生成模型的几何和纹理的控制，往往导致过饱和和模型的多面外观等问题。 此外，研究人员还注意到，仅仅通过加强文本指令来改善模型并不能提高效果。 为了应对这些挑战，研究人员提出了一种增强的3D生成方法。这种方法的核心是通过从所需的3D模型的不同角度创建多个图像，并使用这些图像重建3D对象。这个过程首先使用现有的文本到3D生成模型，如DreamFusion，创建对象的基本表示。通过制作这些初始模型，我们对对象的形状以及它在空间中的排列有一个基本的了解。然后，该方法使用图像到图像（I2I）生成过程来改进视图的图像。 IT3D为不同的3D输出表示提供了支持，例如网格和NeRFs，并且其额外的优势在于其能够使用文本输入改变3D模型的外观。上面的图像展示了IT3D的流程。从粗糙的3D模型开始，IT3D首先使用图像到图像的流程生成一个小的姿势数据集，该数据集的条件是基于粗糙的3D模型的渲染。然后，它结合一个随机初始化的鉴别器来从生成的数据集中提取知识，并使用鉴别损失和SDS损失更新3D模型。 此外，分析显示，这种方法可以加快训练过程，减少必要的训练步骤和可比较的总训练时间。从上面的图像我们可以看到，这种方法可以容忍高方差的数据集。最后，实证结果证明，所提出的方法在纹理细节、几何形状和文本提示与生成的3D对象之间的逼真度方面显著改善了基线模型。 这种技术确实为我们提供了一个对文本到3D生成的新视角，并成为改进文本到3D任务的GAN和扩散先验的第一个研究工作。