Tag: Applications

高质量的3D内容合成对于许多应用来说是一个至关重要且具有挑战性的问题，比如自动驾驶、机器人模拟、游戏、电影制作以及未来的VR/AR场景。由于越来越多的3D内容数据集的可用性，3D几何建模这个领域已经引起了计算机视觉和图形界的广泛研究兴趣。尽管3D几何建模已经取得了很大的进展，但是创建物品的外观或纹理仍然需要大量的人力。开发和编辑通常需要很长时间，并且需要具备使用Blender等3D建模程序的丰富经验。 因此，对于人类技能的高需求和相关成本阻碍了自主纹理设计和增强达到完全工业化。通过利用2D扩散模型的最新发展，特别是针对预定义形式的纹理合成方面的方法，已经在文本到3D创建方面取得了很大的进展。两个开创性的工作Text2Tex和Latent-Paint产生了高质量的物体外观，并实现了从输入提示中合成高保真度的纹理。虽然这些方法对于单个物体产生了有趣的结果，但要将它们扩展到为场景生成纹理仍然存在一些困难。 一方面，纹理接缝、累积的伪影和循环闭合问题是将2D视图投影到3D物体表面的自回归算法的常见问题。当每个物体都有自己的纹理时，保持图片风格的一致性可能是一项具有挑战性的任务。相反地，纹理优化是在低分辨率潜空间中使用基于分数蒸馏的方法进行的，这经常导致错误的几何细节和朦胧的RGB纹理。因此，之前的基于文本的方法无法生成高品质的3D场景纹理。 慕尼黑工业大学和Snap Research的研究团队提出了SceneTex，这是一个独特的设计，使用深度到图像扩散先验来为内部场景网格生成高质量且风格一致的纹理，以解决上述问题。该研究团队采用了一种独特的策略，将纹理创建视为使用扩散先验在RGB空间中进行纹理优化的挑战，而不是现有技术中反复将2D视图弯曲到网格表面上。基本上，研究团队引入了一个多分辨率纹理场，以细致地描绘网格的外观。研究团队使用多分辨率纹理以准确地呈现多种尺寸的纹理细节。因此，他们的设计现在可以适应低频和高频的外观信息。研究团队使用交叉注意力解码器来减少自遮挡引起的风格不一致，以确保所创建纹理的风格一致性。 从实用的角度来看，每个解码后的RGB值都是通过与分布在每个物体上的预采样参考表面位置进行交叉参考生成的。因为每个可见位置都会获得整个实例外观的全局参考，所以研究团队可以进一步确保每个模型内部的全局风格一致性。研究团队通过全面的试验表明，SceneTex可以根据提供的语言信号准确而灵活地创建内部场景的纹理。研究团队通过对3DFRONT数据集的部分进行用户研究，证明了SceneTex在2D指标（如CLIP和Inception分数）方面优于其他基于文本的纹理创建算法。 研究团队的技术贡献可以概括如下： • 使用深度到图像扩散先验，研究团队创建了一个独特的框架，用于生成高质量的高分辨率场景纹理。 • 研究团队使用多分辨率纹理通过提出隐式纹理场来准确捕捉丰富的纹理特征，以记录物体在多个尺度上的外观。 • 与以往的合成技术相比，研究团队通过使用交叉注意力纹理解码器，为3D-FRONT场景生成更美观和风格一致的纹理，以确保每个实例的全局风格一致性。

艺术用户通常需要对生成的图片中所代表的视觉特征和概念进行更精细的控制，但目前这是不可实现的。使用简单的文本提示来准确修改连续的属性，如个人年龄或天气的强度，可能会面临挑战。这种约束条件使得制作者难以更好地反映他们的愿景来修改图片。东北大学、麻省理工学院和一位独立研究人员的研究团队在本研究中回应了这些需求，提出了可解释的“概念滑块”，它们可以在扩散模型内实现精细的概念操作。他们的方法为艺术家提供了高保真度的图片编辑和生成控制。研究团队将以开放源代码的形式提供他们训练的滑块和代码。概念滑块为其他方法需充分解决的问题提供了几种解决方案。 许多图片属性可以通过修改提示来直接控制，但由于输出对提示-种子组合敏感，修改提示通常会显著改变图像的整体结构。通过后期方法如PromptToPrompt和Pix2Video，可以修改交叉注意力和翻转扩散过程，以在图像内部改变视觉概念。然而，这些方法只能容纳少数同时修改，并且需要为每个新概念进行独立的推断步骤。与学习简单、可推广的控制不同，研究团队必须为特定图像设计一个适当的提示。如果没有适当地提示，可能会造成概念纠缠，如在改变种族的同时改变年龄。 另一方面，概念滑块提供了简单的即插即用适配器，它们轻量且适用于预训练模型。这使得可以在单次推断运行中准确而连续地控制所需的概念，同时减小纠缠和提高效率。每个概念滑块都是一个具有低秩的扩散模型修改。研究团队发现低秩约束是概念精准控制的重要组成部分：低秩训练确定了最小的概念子空间，并产生了高质量、精确且解耦的编辑结果，而没有低秩正则化的微调则会降低精度和生成图像质量。这种低秩框架不适用于基于后期的图片修改技术，后者针对的是单个照片而非模型参数。 概念滑块与之前依赖于文本的概念编辑技术不同，可以改变不只是由书面描述表示的视觉概念。尽管研究团队可以为新的基于图像的概念引入新的标记，但以图片为基础的模型自定义技术对于图片编辑来说是具有挑战性的。另一方面，概念滑块允许艺术家使用几个成对的照片来指定所需的概念。然后，概念滑块将泛化这个视觉概念，并将其应用于其他图像，即使在无法用言语表达变化的图像上也可以。 （见图1）以前的研究表明，其他生成式图片模型，如GAN，包括产生高度解耦控制的潜在区域。 图1 显示了该技术如何在扩散参数空间中查找低秩方向，以实现对具有最小干扰其他特质的聚焦概念控制，给定一组有限的文本提示或匹配的图片数据。这些方向可以用于复杂的多属性控制，并可以通过由艺术家创建的对立文本概念或可视化的配对来形成。通过将解耦的StyleGAN潜变量转化为扩散模型并修复稳定扩散输出中的扭曲手，研究人员展示了他们方法的有效性。 具体而言，已经证明StyleGAN样式空间神经元能够对难以言语表述的图片的几个重要特征进行精细控制。研究团队展示了将来自StyleGAN在FFHQ人脸照片上训练的样式空间的潜在方向转移到扩散模型中开发概念滑块的可行性，进一步展示了他们的技术的潜力。有趣的是，他们的方法成功地适应了这些潜变量，即使它们来自人脸数据集，也能提供对不同图片生成的微妙样式控制。这表明扩散模型可以表达GAN潜变量中复杂的视觉概念，即使这些概念没有书面描述。 研究人员表明，概念滑块的表现力足以处理两个有用的应用：改善逼真度和纠正手部畸形。尽管生成模型在生成逼真图像合成方面取得了巨大进展，但最新的扩散模型（如Stable Diffusion XL）仍然容易产生变形的脸部、浮动物体和扭曲的视角，此外，手部也可能存在解剖学上不合理的额外或缺失的手指。研究团队通过感知用户研究确认，两个概念滑块，一个用于“固定手部”，另一个用于“逼真图像”，在不改变图像内容的情况下，显著增加了感知逼真度。 概念滑块可以组装和拆卸。研究团队发现，即使创建超过50个不同的滑块，也不会牺牲输出质量。这种适应性为艺术家打开了微妙图片控制的新世界，使他们能够结合许多文本、视觉和GAN定义的概念滑块。他们的技术比仅限于文本的编辑功能更为复杂，因为它超越了正常提示令牌的限制。

“`html 谷歌研究和UIUC的研究人员提出了ZipLoRA，它通过引入一种合并独立训练的风格和主题线性递归关注（LoRAs）的新方法，解决了文本到图像扩散模型中对个性化创作的有限控制问题。它允许更好地控制和提高生成任何内容的效果。该研究强调了概念个性化LoRA权重矩阵中稀疏性的重要性，并展示了ZipLoRA在内容-风格转换和重构等各种图像风格化任务中的有效性。 现有的逼真图像合成方法通常依赖于扩散模型，例如稳定扩散XL v1，它使用正向和反向过程。像ZipLoRA这样的方法利用了潜在扩散模型中独立训练的风格和主题LoRAs，以提供对个性化创作的控制。这种方法提供了一个简化的、经济高效且无需超参数的主题和风格个性化解决方案。与基准和其他LoRA合并方法相比，演示表明ZipLoRA的实践在生成具有个性化风格的多样主题方面表现出色。 生成用户指定主题和个性化风格的高质量图像一直是扩散模型面临的挑战。虽然现有方法可以针对特定概念或技术微调模型，但它们通常需要用户提供的主题和风格的帮助。为了解决这个问题，开发了一种无需超参数的名为ZipLoRA的方法。这种方法有效地合并了独立训练的风格和主题LoRAs，提供了前所未有的个性化创作控制。它还在各种LoRAs中提供了稳健性和一致性，并简化了对公开可用LoRAs的组合。 ZipLoRA是一种简化扩散模型中独立训练的风格和主题LoRAs合并的方法。它允许主题和风格的个性化，无需超参数。该技术使用了一种直接合并方法，涉及简单的线性组合和基于优化的方法。通过用户指定的标量权重调整实现了可控的风格化，同时保持模型正确生成个体对象和风格的能力。 通过用户研究表明，ZipLoRA在风格和主题的忠实度方面表现出色，超越了竞争对手和基准，在内容-风格转换和重构等图像风格化任务中。验证了ZipLoRA的准确风格化和主题忠实度，使其成为生成以用户指定主题为个性化风格的有效且有吸引力的工具。在ZipLoRA中独立训练的风格和内容LoRAs的合并提供了对个性化创作的前所未有的控制。 总之，ZipLoRA是一种高效且经济高效的方法，可以同时个性化主题和风格。通过用户研究验证了其在风格和主题忠实度方面的卓越性能，并分析了其LoRA权重稀疏性和对齐的合并过程。ZipLoRA提供了对个性化创作的前所未有的控制，并超越了现有方法。 “`

在人工智能（AI）的快速发展领域中，深度学习变得越来越受欢迎，并且进入到每个行业，使生活变得更加便利。SLAM（Simultaneous Localization and Mapping，同时定位与地图构建）是AI中的一个重要组成部分，它在机器人、无人驾驶汽车和增强现实系统中得到了革命性的进展。 SLAM涉及重建周围环境并同时估计移动相机的轨迹。SLAM具有一些令人难以置信的算法，能够精确估计相机轨迹并产生出色的几何重建。然而，仅凭几何表示无法为需要场景理解的更复杂任务提供重要的语义信息。 目前使用的语义SLAM系统对场景中物体的特定细节推理（例如数量、大小、形状或相对姿态）是一个挑战。在最近的研究中，伦敦大学学院（University College London）计算机科学系的研究团队引入了最新的面向对象SLAM系统，名为DSP-SLAM。 DSP-SLAM旨在构建一个全面而精确的联合地图；前景物体由密集的3D模型表示，而背景则由稀疏的地标点表示。该系统甚至可以很好地配合单目、双目或双目+LiDAR输入模态。 团队表示，DSP-SLAM的主要功能是接收由基于特征的SLAM系统产生的3D点云作为输入，并通过密集重建已经被识别的物体来增强其稀疏地图的能力。使用语义实例分割来检测物体，并使用类别特定的深度形状嵌入作为先验来估计这些物体的形状和姿态。 团队表示，DSP感知束调整是该系统的主要特点，因为它用于创建姿态图，实现相机姿态、物体位置和特征点的联合优化。通过使用这种策略，系统可以改进和优化场景的表示，同时考虑背景地标和前景物体。 该系统在多种输入模态（如单目、双目和双目+LiDAR）下以每秒10帧的速度运行，展示了令人印象深刻的性能。已经在多个数据集上对DSP-SLAM进行了测试，包括来自KITTI轨迹数据集的双目+LiDAR序列和来自Freiburg和Redwood-OS数据集的单目-RGB序列，以验证其功能。结果显示，即使在观测不完整的情况下，该系统能够产生出色的完整物体重建并保持一致的全局地图。 研究人员总结了主要贡献如下： DSP-SLAM将面向对象SLAM的语义映射丰富性与基于特征的相机跟踪的准确性相结合，通过使用稀疏特征点重建背景，与先前只表示物体的方法形成对比。 DSP-SLAM在定量和定性方面都优于依赖于密集深度图像的方法，因为它使用仅RGB单目流而不是Node-SLAM，并且可以通过仅使用50个3D点来准确估计物体的形状。 DSP-SLAM在对象形状和姿态估计方面，在定量和定性方面都优于基于先验的自动标记技术。 KITTI轨迹数据集的实验结果显示，使用DSP-SLAM的联合束调整在轨迹估计方面优于ORB-SLAM2，尤其是在使用双目+LiDAR输入时。

来自麻省理工学院和Meta AI的研究人员开发了一种物体重新定向控制器，可以利用单个深度摄像机实时重新定向各种形状的物体。这项开发所解决的挑战是需要一个多功能且高效的物体操纵系统，能够适应新条件，而无需保持不同物体之间关键点的一致姿态。该平台还可以拓展至其他熟练操纵任务，未来研究还在进一步改进方面存在机会。 目前用于物体重新定向研究的方法存在一些局限性，例如侧重特定物体、操纵范围有限且操纵速度慢、依赖昂贵的传感器以及只能产生模拟结果。这些方法必须有效地解决从模拟环境到真实环境的转移挑战。成功率通常由误差阈值决定，而该阈值因任务而异。学生视觉策略网络已经经过训练，以解决这些局限性，并且已经证明在数据集之间存在最小的泛化差距。 本研究提出了一种提高机器手灵活性的方法，解决了手中物体重新定向的挑战。以往的方法会施加限制，并需要昂贵的传感器，从而限制了它们的多功能性。为了克服这些限制，通过强化学习在模拟环境中训练了一个控制器，并成功地实现了对新形状的真实世界泛化。还讨论了使用视觉输入训练控制器和实现有效的模拟到真实环境转换的挑战。 所提出的方法涉及利用强化学习在模拟环境中训练基于视觉的物体重新定向控制器，然后直接在真实世界中进行零样本转移。训练使用具有增强容量的卷积网络和门控循环单元，在Isaac Gym物理模拟器的桌面设置中进行。奖励函数包括成功标准和额外的形状术语。为了评估该方法的有效性，进行了在3D打印和真实世界物体上的测试，并基于误差分布和成功率对比模拟和真实世界的结果，以定义的阈值进行评估。 在真实世界上，单个在模拟中训练的控制器成功地重新定向了150个物体，并在三指和修改后的四指D’Claw操纵器上实现了实时性能，使用了标准工作站以12 Hz的速度。采用OptiTrack运动捕捉系统进行的评估展示了其准确的物体重新定向能力，并且能够推广到新的物体形状上。通过对误差分布和成功率在定义的阈值内的分析，证明了该系统在解决模拟到真实世界转换的挑战和潜在精度改进方面的有效性，而无需额外假设。 总之，该研究成功地通过强化学习开发了一个能够在真实世界中有效重新定向物体的实时控制器。尽管系统的中位重新定向时间约为七秒，但它引发了关于在重新定向任务中形状信息的重要性的问题。它强调了从模拟结果到真实世界的转移挑战。尽管存在这些挑战，该控制器在手中灵巧操纵方面具有潜在应用，特别是在不太结构化的环境中，并强调了在不做额外假设的情况下需要精度改进的需求。 未来研究的一个潜在方向是探索如何将形状特征纳入控制器，特别是在精细操纵和对新形状的泛化方面，这可能会提高控制器性能。值得探索通过视觉输入进行训练的可能性，这可以解决当前依赖于完整状态信息模拟的强化学习控制器的局限性。最后，与先前作品的比较研究可以帮助将研究结果置于现有文献中的背景中，并且还需要进一步研究使用开源硬件进行灵巧操纵的问题。