四海吧 Posts

斯坦福大学和FAIR Meta的研究人员引入了CHOIS来解决在3D场景中生成物体和人类的同步运动的问题。该系统基于稀疏的物体航点、物体和人类的初始状态以及文本描述来运作。它通过在指定的3D环境中为两者产生逼真且可控的动作来控制人类和物体之间的交互。 利用类似AMASS这样的大规模、高质量的动作捕捉数据集，人们对生成式人体运动建模的兴趣日益增加，包括有条件的动作和文本生成。之前的研究使用VAE公式来从文本生成多样化的人体运动，而CHOIS则专注于人体与物体的互动。与现有方法通常集中在手部动作合成不同，CHOIS考虑到在抓取物体之前的全身动作，并根据人体的动作预测物体的运动，为交互式3D场景模拟提供了综合解决方案。 CHOIS解决了在3D环境中合成逼真人类行为的关键需求，这对计算机图形学、具体化人工智能和机器人技术至关重要。CHOIS通过基于语言描述、初始状态和稀疏物体航点来生成同步的人类和物体运动来推动该领域的发展。它解决了现实运动生成、适应环境杂乱以及从语言描述中合成交互等挑战，为多样化的3D场景中可控人体与物体交互提供了综合系统。 该模型使用条件扩散方法根据语言描述、物体几何和初始状态生成同步的物体和人体运动。在采样过程中加入约束以确保逼真的人与物接触。训练阶段使用损失函数来引导模型预测物体变换而无需明确强制接触约束。 CHOIS系统经过与基准模型和消融实验的严格评估，展示了在条件匹配、接触准确性、减少手部与物体的穿透以及脚部漂浮等指标上表现出的卓越性能。在FullBodyManipulation数据集上，物体几何损失增强了模型的能力。CHOIS在3D-FUTURE数据集上的表现超过了基准模型和消融模型，展示了其对新物体的泛化能力。人类感知研究突出了CHOIS与基准模型相比，在与输入文本的对齐和交互质量方面表现更好。定量指标，包括位置和方向误差，衡量了生成结果与真实运动之间的偏差。 总之，CHOIS是一个基于语言描述和稀疏物体航点生成逼真的人与物体交互的系统。该过程在训练过程中考虑到物体几何损失，并在采样过程中使用有效的引导项来增强结果的逼真度。CHOIS学习到的交互模块可以集成到根据语言和3D场景合成长期交互的流水线中。CHOIS在生成与提供的语言描述相一致的逼真人与物体交互方面有显著改进。 未来的研究可以探索通过集成额外的监督，如物体几何损失，来提高生成的物体运动与输入航点的匹配度。研究如何使用更高级的引导项来强制接触约束，可能会得到更逼真的结果。将评估扩展到多样化的数据集和场景将测试CHOIS的泛化能力。进一步的人类感知研究可以提供对生成的交互更深入的洞察。将学习到的交互模块应用于根据3D场景的物体航点生成长期交互也将扩大CHOIS的适用性。

人工智能（AI）和深度学习的进步，彻底改变了人类与计算机互动的方式。通过引入扩散模型，生成建模在文本生成、图片生成、音频合成和视频制作等各个领域都展示出了卓越的能力。 尽管扩散模型表现出卓越的性能，但这些模型通常计算成本较高，主要与庞大的模型大小和顺序去噪过程有关。这些模型的推理速度非常慢，为解决这一问题，研究人员进行了一系列努力，包括减少样本步骤的数量，使用模型修剪、蒸馏和量化等技术降低每个步骤的模型推理开销。 传统的扩散模型压缩方法通常需要大量的重新训练，这带来了实践和资金上的困难。为了克服这些问题，研究人员团队推出了DeepCache，一种新颖的无训练范式，旨在优化扩散模型的体系结构以加速扩散过程。 DeepCache利用了扩散模型连续去噪阶段固有的时间冗余性。这种冗余性的原因在于某些特征在连续的去噪步骤中会重复出现。它通过引入针对这些特性的缓存和检索方法，大大减少了重复计算。团队表示，这种方法基于U-Net属性，可以在有效更新低级特征的同时重复使用高级特征。 DeepCache的创意方法有效提高了Stable Diffusion v1.5的速度2.3倍，仅降低0.05的CLIP评分。同时，在LDM-4-G上展示出了印象深刻的4.1倍速度提升，虽然在ImageNet上的FID损失为0.22。 研究人员对DeepCache进行了评估，实验比较结果显示，DeepCache的性能优于当前的修剪和蒸馏技术，而这些技术通常需要重新训练。它甚至展示了与现有采样方法相兼容的特点。在相同吞吐量下，它与DDIM或PLMS的性能相似或略优，最大限度地提高了效率而不损失产生的输出质量。 研究人员总结了DeepCache的主要贡献如下： DeepCache与当前快速采样器配合良好，展示了实现类似甚至更好生成能力的可能性。 它通过在运行时动态压缩扩散模型，提高了图像生成速度，无需额外训练。 利用可缓存特征，DeepCache通过使用高级特征的时间一致性，减少了重复计算。 DeepCache通过引入定制的扩展缓存间隔技术，提高了特征缓存的灵活性。 在CIFAR、LSUN-Bedroom/Churches、ImageNet、COCO2017和PartiPrompt上的实验表明，DeepCache在DDPM、LDM和Stable Diffusion模型上的效果更好。 与需要重新训练的修剪和蒸馏算法相比，DeepCache的性能更好，保持了更高的效能。 总之，DeepCache作为一种扩散模型加速器，显示出巨大的潜力，为传统的压缩技术提供了有用且经济实惠的替代方案。

文本到图像扩散模型代表了人工智能研究中一个有趣的领域。它们旨在根据文本描述创建逼真的图像，利用扩散模型进行生成。该过程涉及从基本分布中逐步生成样本，逐渐转化为与目标图像相似，同时考虑文本描述。多个步骤参与其中，将逐步引入噪音来生成图像。 目前的文本到图像扩散模型面临一个现有的挑战：仅凭文本描述准确地描绘一个主题。当需要生成复杂细节，如人脸特征时，尤其明显。因此，在探索超越文本线索的保持身份的图像合成方面，人们越来越有兴趣。 腾讯的研究人员提出了一种新的方法，专注于人体图像的身份保持图像合成。他们的模型采用了直接向前传递的方法，绕过复杂的微调步骤，以便快速高效地生成图像。它利用文本提示并结合样式和身份影像的额外信息。 他们的方法涉及一种多身份跨注意机制，使模型能够将来自不同身份的特定引导细节与图像中的不同人体区域相关联。通过使用包含人体图像的数据集对模型进行训练，并以人脸特征作为身份输入，模型学会在强调身份特征的同时重建人体图像。 他们的模型展示了在保留主体身份的同时合成人体图像的出色能力。此外，它使用户能够将自己的面部特征投影到不同风格的图像（如卡通），使用户能够在不损害身份的前提下以不同的风格进行可视化。此外，当提供相应的参考照片时，它在混合多个身份的创意生成方面表现出色。 他们的模型在单镜头和多镜头场景中展示了出色的性能，凸显了其在保护身份方面的设计的有效性。尽管基线图像重建大致保持图像内容，但在细粒度身份信息方面存在困难。相反，他们的模型成功地从身份引导分支中提取身份信息，从而为面部区域实现了更好的结果。 然而，该模型复制人脸的能力引发了伦理关注，尤其是可能创建冒犯性或文化不恰当的图像。负责任地使用这项技术至关重要，需要制定准则以防止在敏感情境中滥用。

如何有效地完成3D捕获的缺失部分？这篇来自Google Research和UC Berkeley的研究论文介绍了“NeRFiller”，一种新颖的3D修补方法，解决了由于重建失败或缺乏观察而经常缺失的不完整的3D场景或物体的重建问题。该方法通过参考示例控制修补过程，从而实现精确和可定制的场景修补。NeRFiller是一种3D生成修补方法，可以增强3D捕获中的场景或物体，是改善3D重建的有效解决方案。 该研究探讨了从传统的2D修补到像LaMa这样的大规模修补技术的不同方法，涉及概率和潜在扩散模型，考虑到涉及文本或图像的3D生成方法。强调了对象去除设置的相关性，并对3D修补的各种基准和数据集进行了评估。虽然涉及视频和场景编辑的相关作品，但重点主要是现有3D场景的场景完成。 该研究解决了3D场景补全和修补的挑战，强调了3D感知和多视角一致性方法的重要性。区分了场景补全和对象去除，重点是在3D场景中生成新的内容。讨论了2D生成修补模型在3D一致图像方面的限制。所提出的NeRFiller方法利用了从文本到图像扩散模型中的网格先验现象，以增强修补中的多视角一致性。还讨论了生成3D场景和对象去除方法的相关作品。 NeRFiller是一种利用生成的2D扩散模型作为修补的方法，用于完成3D场景中的缺失区域。它解决了各种修补估计和2D模型中缺乏3D一致性的挑战。NeRFiller引入了用于显著修补结果的整合机制，并鼓励3D特性。它利用迭代的3D场景优化，将网格修补扩展到大型图像集合。对比了Masked NeRF和LaMask等基准，证明了NeRFiller的有效性。评估包括比较、新视图度量、图像质量和几何度量。 NeRFiller在3D场景完成方面表现出色，填补了缺失区域并去除了不需要的遮挡物，在3D一致性和合理性方面表现出色。与对象去除基准相比，NeRFiller在完成缺失区域方面表现优异。评估指标包括NeRF、新视图、MUSIQ图像质量和几何度量，展示了它在生成连贯和逼真的3D场景方面的有效性。 总之，NeRFiller是一款强大的3D修补工具，可以准确完成3D场景中的缺失部分。它填充间隙并去除非理想元素的能力优于对象去除基准。引入联合多视角修补进一步增强其一致性，通过在多个图像上平均噪声预测。通过与最先进的基准进行比较，NeRFiller表现出了完成用户指定的3D场景的有效性。它为根据用户定义的规范修补3D捕获中的缺失区域提供了有价值的框架。

如何在不依赖人工标注的情况下生成高质量图像？ MIT CSAIL和FAIR Meta的这篇论文解决了不依赖人工标注生成高质量图像的挑战。他们提出了一个名为Representation-Conditioned Image Generation（RCG）的新型框架，该框架利用从图像分布经过预训练编码器获得的自监督表示分布。这个框架在无条件生成图像方面取得了优秀的结果，并且在有条件生成图像方面与领先方法一直保持竞争力。 历史上，监督学习主导了计算机视觉，但是像对比学习这样的自监督学习方法缩小了差距。尽管先前的图像生成工作在使用人工标注进行有条件生成方面表现出色，但无条件生成面临挑战。引入的框架RCG通过在没有人工标注的情况下在类有条件和类无条件图像生成方面取得了卓越的成果。 RCG取得了最先进的结果，标志着自监督图像生成的重大进展。 使用自监督教育的Representation Diffusion Model（RDM）可以帮助弥合图像生成中监督学习和无监督学习之间的差距。RCG将RDM与像素生成器集成，从而实现了潜在优势的类无条件图像生成。 RCG框架将图像生成条件化为通过预训练编码器从图像分布获得的自监督表示分布。利用像素生成器对像素进行条件化，RCG通过通过去噪扩散隐式模型进行的表示空间采样来集成RDM的训练。 RCG集成了无需分类器的指导，以改善生成模型的性能，如MAGE所示。像Moco v3这样的预训练图像编码器将表达式规范化为输入到RDM中。 RCG框架在类无条件图像生成方面表现出色，实现了最先进的结果，并在类有条件图像生成方面与领先方法相媲美。在ImageNet 256×256数据集上，RCG达到了3.31的Frechet Inception Distance和253.4的Inception Score，表明生成了高质量的图像。通过对表示进行条件化，RCG显著改善了像ADM，LDM和MAGE等不同像素生成器的类无条件生成，并进一步改善了性能的训练周期。 RCG的自我条件化图像生成方法在各种现代生成模型中具有通用性，始终改善类无条件生成。 RCG框架借助自监督表示分布在类无条件图像生成方面取得了突破性成果。其与多样的生成模型的无缝集成显著改善了它们的类无条件性能，而其不依赖于人工标注的自我条件化方法有望超越有条件方法。RCG的轻量级设计和任务特定的训练适应性使其能够利用大型无标签数据集。 RCG已经被证明是一种非常有效和有前途的高质量图像合成方法。