419 search results for "引导"

斯坦福大学和FAIR Meta的研究人员引入了CHOIS来解决在3D场景中生成物体和人类的同步运动的问题。该系统基于稀疏的物体航点、物体和人类的初始状态以及文本描述来运作。它通过在指定的3D环境中为两者产生逼真且可控的动作来控制人类和物体之间的交互。 利用类似AMASS这样的大规模、高质量的动作捕捉数据集，人们对生成式人体运动建模的兴趣日益增加，包括有条件的动作和文本生成。之前的研究使用VAE公式来从文本生成多样化的人体运动，而CHOIS则专注于人体与物体的互动。与现有方法通常集中在手部动作合成不同，CHOIS考虑到在抓取物体之前的全身动作，并根据人体的动作预测物体的运动，为交互式3D场景模拟提供了综合解决方案。 CHOIS解决了在3D环境中合成逼真人类行为的关键需求，这对计算机图形学、具体化人工智能和机器人技术至关重要。CHOIS通过基于语言描述、初始状态和稀疏物体航点来生成同步的人类和物体运动来推动该领域的发展。它解决了现实运动生成、适应环境杂乱以及从语言描述中合成交互等挑战，为多样化的3D场景中可控人体与物体交互提供了综合系统。 该模型使用条件扩散方法根据语言描述、物体几何和初始状态生成同步的物体和人体运动。在采样过程中加入约束以确保逼真的人与物接触。训练阶段使用损失函数来引导模型预测物体变换而无需明确强制接触约束。 CHOIS系统经过与基准模型和消融实验的严格评估，展示了在条件匹配、接触准确性、减少手部与物体的穿透以及脚部漂浮等指标上表现出的卓越性能。在FullBodyManipulation数据集上，物体几何损失增强了模型的能力。CHOIS在3D-FUTURE数据集上的表现超过了基准模型和消融模型，展示了其对新物体的泛化能力。人类感知研究突出了CHOIS与基准模型相比，在与输入文本的对齐和交互质量方面表现更好。定量指标，包括位置和方向误差，衡量了生成结果与真实运动之间的偏差。 总之，CHOIS是一个基于语言描述和稀疏物体航点生成逼真的人与物体交互的系统。该过程在训练过程中考虑到物体几何损失，并在采样过程中使用有效的引导项来增强结果的逼真度。CHOIS学习到的交互模块可以集成到根据语言和3D场景合成长期交互的流水线中。CHOIS在生成与提供的语言描述相一致的逼真人与物体交互方面有显著改进。 未来的研究可以探索通过集成额外的监督，如物体几何损失，来提高生成的物体运动与输入航点的匹配度。研究如何使用更高级的引导项来强制接触约束，可能会得到更逼真的结果。将评估扩展到多样化的数据集和场景将测试CHOIS的泛化能力。进一步的人类感知研究可以提供对生成的交互更深入的洞察。将学习到的交互模块应用于根据3D场景的物体航点生成长期交互也将扩大CHOIS的适用性。

扩散模型在给定文本提示时已被证明在生成高质量照片方面非常成功。这种文本到图片（T2I）生成的范例已成功用于一些下游应用，包括深度驱动的图片生成以及主体/分割识别。两个受欢迎的基于文本条件的扩散模型，CLIP模型和潜在扩散模型（LDM），通常被称为稳定扩散，对这些进展至关重要。LDM在研究中以开源软件的形式免费提供，因此得到了广泛熟知。而对于未CLIP模型，却鲜有关注。这两种模型类型的基本目标都是根据文本提示训练扩散模型。 与未CLIP模型不同，LDM只有一个文本到图片扩散模型，而不需要文本到图片先验和扩散图片解码器。这两个模型家族都在图像的矢量量化潜空间内运作。因为未CLIP模型在多个组合基准测试中通常优于其他SOTA模型，如T2I-CompBench和HRS-Benchmark，所以研究团队在本文中将重点放在它们身上。这些T2I模型通常有很多参数，需要优秀的图像-文本对进行训练。与LDM相比，如DALL-E-2、卡洛和康定斯基等未CLIP模型由于它们的早期模块，其总模型大小要大得多（≥ 2B），约有10亿参数。 按照顺序，这些未CLIP模型的训练数据分别为250M、115M和177M个图像-文本对。因此，仍然存在两个重要问题：1）使用文本到图片先验能否提高文本组合的SOTA性能？2）或者模型大小的增加才是关键因素？通过增加参数和数据效率，研究团队旨在改善他们对T2I先验的认识，并在目前的公式上作出重大改进。先验的T2I目标是在扩散过程的每个时间步骤中直接估计无噪声图像嵌入，正如先前的研究所建议的那样，它们也是扩散模型。为了研究这个先前的传播过程，研究团队进行了实证调查。 图1比较了SOTA文本到图片模型在三个组合任务（颜色、形状和纹理）上的平均性能以及总参数数量。ECLIPSE只需要很少的训练数据，但却能产生更好的结果，并且使用较少的参数。所展示的ECLIPSE使用康定斯基解码器，通过仅使用500万个图像-文本对进行训练，使用约3300万个参数训练了一个T2I先验模型。 研究团队发现了扩散过程对性能的轻微负面影响，并且对产生正确图片没有影响。此外，由于扩散模型收敛速度较慢，训练它们需要显著的GPU小时或天数。因此，在本研究中，非扩散模型作为替代方法。由于缺乏无分类器引导，这种方法可能会限制组合性的可能性，但却大大提高了参数效率并减少了对数据的依赖。 在这项研究中，亚利桑那州立大学的研究团队提出了一种独特的对比学习技术，称为ECLIPSE，来增强T2I非扩散先验并克服上述缺点。研究团队优化了传统方法，即通过优化证据下界（ELBO）产生图像嵌入来从所提供的文本嵌入生成图片。研究团队建议使用预训练的视觉语言模型的语义对齐（文本和图片之间）特征来监督早期训练。研究团队使用相对较少的图像-文本对（0.34% – 8.69%）使用ECLIPSE训练紧凑的（97%更小）的非扩散先验模型（具有3300万个参数）。研究团队为未CLIP扩散图片解码器的变体（卡洛和康定斯基）引入了ECLIPSE训练的先验。ECLIPSE训练的先验模型优于拥有10亿参数的对应版本，并且优于基准先验学习算法。他们的研究结果表明了一条可能的T2I生成模型的路径，这种模型在不需要很多参数或数据的情况下提高了组合性。 如图1所示，它们的总参数和数据需求显著降低，并通过增加T2I在unCLIP家族之前取得了与相似参数模型相媲美的性能。贡献：1）在unCLIP框架下，研究团队提供了ECLIPSE，这是首个利用对比学习进行文本到图像先验的尝试。2）通过全面的实验，研究团队证明了ECLIPSE在资源受限环境中优于基线先验的优越性。3）值得注意的是，ECLIPSE先验仅需使用训练数据的2.8％和模型参数的3.3％即可获得与更大模型相当的性能。4）研究团队还研究了当前T2I扩散先验的缺点，并提供了实证观察结果。