四海吧 Posts

“`html 许多研究人员设想过一个世界，任何二维图像都可以瞬间转化为三维模型。这个领域的研究主要受到了实现这个长期目标的通用、高效方法的寻求的推动，潜在的应用领域涵盖工业设计、动画、游戏和增强现实/虚拟现实等。 早期的基于学习的方法通常针对特定的类别表现良好，因为在一瞥之间，三维几何的固有模糊性使得先推断整体形状前先使用类别数据。最近的研究受到图像生成的最新发展的启发，如DALL-E和稳定扩散，利用了二维扩散模型令人惊叹的泛化潜力来实现多视图监督。然而，这些方法中的许多都需要仔细的参数调整和正则化，并且它们的输出受到首次使用的预训练二维生成模型的限制。 通过使用大规模重构模型（LRM），来自Adobe研究和澳大利亚国立大学的研究人员可以将单个图像转换为三维。该模型使用一个庞大的基于transformer的编码器-解码器架构，从单个图像中进行数据驱动的三维对象表示学习。当将图像馈入他们的系统时，它输出一个NeRF的三面式表示。具体而言，LRM使用预训练的视觉transformer DINO作为图像编码器生成图像特征，然后学习一个图像到三面式transformer解码器，将二维图像的交叉关注特征投影到三维三面式上，并自我关注地建模了空间结构化的三面式令牌之间的关系。解码器的输出令牌被重新形状和上采样到最终的三面式特征图上。之后，他们可以使用额外的共享多层感知机（MLP）对每个点的三面式特征进行解码，以获取其颜色和密度，并进行体积渲染，从而允许我们从任意视点生成图像。 由于其精心设计的架构，LRM具有高度可扩展和高效的特点。与体积和点云等其他表示相比，三面式NeRF在计算上更友好，使其成为一种简单且可扩展的三维表示。此外，它与图片输入的接近程度优于Shap-E对NeRF模型权重进行令牌化。此外，LRM仅通过最小化新视角下渲染图像与真实图像之间的差异来进行训练，无需过多的三维感知正则化或精细的超参数调整，使得该模型在训练中非常高效且适用于各种多视图图像数据集。 LRM是第一个大规模的三维重建模型，具有超过5亿个可学习参数和训练数据量约一百万个来自各种类别的三维形状和视频；这与更近期的方法相比，后者使用相对较浅的网络和较小的数据集。实验结果表明，LRM可以从真实世界和生成模型的照片中重建高保真度的三维形状。此外，LRM还是一个非常有用的缩小工具。 团队计划将其未来的研究重点放在以下领域： 使用最简单的基于transformer的设计和轻微的正则化来增加模型的大小和训练数据。 将其扩展到三维多模态生成模型。 借助像LRM这样的图像到三维重建模型，可以自动化一些三维设计师的工作。同时，这些技术还有助于提高创意行业的增长和可访问性。 “`

智能系统复制和理解人类行为的不断发展已经在计算机视觉和人工智能（AI）的互补领域取得了重大进展。机器学习模型正获得极大的流行度，弥合了现实和虚拟之间的差距。虽然在计算机视觉领域，3D人体建模受到了广泛关注，但从语音和身体动作中建立起3D空间音频的任务仍然是一个讨论的话题。关注点始终在于人体的视觉保真度。 人类感知是多模式的，它将听觉和视觉线索结合起来来理解环境。为了营造在3D世界中存在和融入感，精确模拟与视觉画面相对应的3D声音是至关重要的。为了应对这些挑战，上海人工智能实验室和Meta Reality Labs Research的研究人员团队引入了一个模型，为整个人体产生准确的3D空间音频表示。 该团队分享了提议的技术使用头戴式麦克风和人体姿态数据来精确合成3D空间音效。案例研究聚焦于将增强现实和虚拟现实（AR/VR）结合在一起的远程呈现场景，用户使用全身化身进行沟通。以头戴麦克风的主观音频数据和用于给化身赋予动画的身体姿势数据作为输入的例子已被用来进行研究。 当前的声音空间化方法假设声源已知且在那里被不受干扰地捕获。所提议的方法通过使用身体姿态数据来训练一个多模态网络，区分各种噪音源并产生精确的空间化信号来解决这些问题。身体周围的声音区域是输出，七个头戴式麦克风的音频和被试的体态构成了输入。 该团队进行了经验评估，证明了当用适当的损失函数进行训练时，该模型能够可靠地生成由身体运动引起的声场。该模型的代码和数据集可在互联网上公开使用，促进了这一领域的开放性、可重复性和进一步的发展。GitHub存储库可以在https://github.com/facebookresearch/SoundingBodies访问。 该团队总结了该工作的主要贡献： 引入了一种独特的技术，使用头戴麦克风和身体姿态为人体呈现出逼真的3D声场。 分享了一项全面的经验评估，强调了体态和精心设计的损失函数的重要性。 该团队分享了他们制作的新数据集，将多视角人体数据与345个麦克风阵列的空间音频录音相结合。