斯坦福大学和FAIR Meta的研究人员引入了CHOIS来解决在3D场景中生成物体和人类的同步运动的问题。该系统基于稀疏的物体航点、物体和人类的初始状态以及文本描述来运作。它通过在指定的3D环境中为两者产生逼真且可控的动作来控制人类和物体之间的交互。
利用类似AMASS这样的大规模、高质量的动作捕捉数据集，人们对生成式人体运动建模的兴趣日益增加，包括有条件的动作和文本生成。之前的研究使用VAE公式来从文本生成多样化的人体运动，而CHOIS则专注于人体与物体的互动。与现有方法通常集中在手部动作合成不同，CHOIS考虑到在抓取物体之前的全身动作，并根据人体的动作预测物体的运动，为交互式3D场景模拟提供了综合解决方案。
CHOIS解决了在3D环境中合成逼真人类行为的关键需求，这对计算机图形学、具体化人工智能和机器人技术至关重要。CHOIS通过基于语言描述、初始状态和稀疏物体航点来生成同步的人类和物体运动来推动该领域的发展。它解决了现实运动生成、适应环境杂乱以及从语言描述中合成交互等挑战，为多样化的3D场景中可控人体与物体交互提供了综合系统。
该模型使用条件扩散方法根据语言描述、物体几何和初始状态生成同步的物体和人体运动。在采样过程中加入约束以确保逼真的人与物接触。训练阶段使用损失函数来引导模型预测物体变换而无需明确强制接触约束。
CHOIS系统经过与基准模型和消融实验的严格评估，展示了在条件匹配、接触准确性、减少手部与物体的穿透以及脚部漂浮等指标上表现出的卓越性能。在FullBodyManipulation数据集上，物体几何损失增强了模型的能力。CHOIS在3D-FUTURE数据集上的表现超过了基准模型和消融模型，展示了其对新物体的泛化能力。人类感知研究突出了CHOIS与基准模型相比，在与输入文本的对齐和交互质量方面表现更好。定量指标，包括位置和方向误差，衡量了生成结果与真实运动之间的偏差。
总之，CHOIS是一个基于语言描述和稀疏物体航点生成逼真的人与物体交互的系统。该过程在训练过程中考虑到物体几何损失，并在采样过程中使用有效的引导项来增强结果的逼真度。CHOIS学习到的交互模块可以集成到根据语言和3D场景合成长期交互的流水线中。CHOIS在生成与提供的语言描述相一致的逼真人与物体交互方面有显著改进。
未来的研究可以探索通过集成额外的监督，如物体几何损失，来提高生成的物体运动与输入航点的匹配度。研究如何使用更高级的引导项来强制接触约束，可能会得到更逼真的结果。将评估扩展到多样化的数据集和场景将测试CHOIS的泛化能力。进一步的人类感知研究可以提供对生成的交互更深入的洞察。将学习到的交互模块应用于根据3D场景的物体航点生成长期交互也将扩大CHOIS的适用性。