Press "Enter" to skip to content

Meta AI推出可重新调光的高斯编码化身:一种建立高保真可重新调光头像的人工智能方法,可通过动画生成新颖表情

在一项具有突破性的举措中,Meta AI的研究人员解决了实现动态3D头像的高保真重照的长期挑战。传统方法常常需要在捕捉面部表情的复杂细节方面迎头赶上,尤其是在效率至上的实时应用中。Meta AI的研究团队通过推出可重光高斯编码人偶的方法回应了这一挑战,该方法有望重新定义人偶逼真度的领域。

研究团队致力于解决的核心问题是在动态面部序列中捕捉亚毫米细节(如头发和毛孔)更加清晰的需求。在高效建模人类头部的多种材料(包括眼睛、皮肤和头发)以及适应全频反射的同时,固有复杂性也引发了现有方法的局限性,迫切需要一种能够将逼真与实时性能无缝融合的创新解决方案。

对于可重光人偶的现有方法,实时性能和真实度之间一直没有找到平衡。一个持久存在的挑战是需要一种方法能够在实时应用中捕捉到动态面部细节。Meta AI的研究团队意识到了这一差距,并推出了“可重光高斯编码人偶”作为一种具有改变性的解决方案。

Meta AI的方法引入了基于3D高斯的几何模型,提供了亚毫米级精度的准确性。这是在捕捉动态面部序列方面的重大进步,确保人偶展现出生动的细节,包括头发和毛孔的微妙之处。可重光外观模型是这种创新方法的关键组成部分,其基于可学习辐射传输技术构建。

https://arxiv.org/abs/2312.03704

这些人偶的独特之处在于它们在人偶构建方面的综合方法。基于3D高斯的几何模型为人偶提供了骨干,使得可以使用高斯喷洒技术进行高效渲染。外观模型由可学习辐射传输驱动,结合了漫反射球谐和反射高斯球面。这种组合使人偶能够通过点光源和连续照明进行实时重照。

除了这些技术方面,该方法还引入了表情、凝视、视角和照明的可分解控制。借助潜在表情代码、凝视信息和目标视角方向,可以实现人偶的动态动画。这种控制水平在人偶动画方面迈出了重要的一步,提供了丰富多样的互动用户体验。

这些人偶不仅是理论上的进步,它们也带来了实际结果。该方法允许通过头戴摄像头实时驱动的视频动画来对各个方面进行可分解控制。这种能力创造了动态的、互动的内容,让实时视频输入能够无缝驱动人偶。

总之,Meta AI的“可重光高斯编码人偶”证明了创新在解决复杂问题中的力量。通过将基于3D高斯的几何模型与一种革命性的可学习辐射传输外观模型相结合,研究团队已经超越了现有方法的局限性,树立了人偶逼真度的新标准。

Leave a Reply

Your email address will not be published. Required fields are marked *