352 search results for "计算机视觉"

如何在不依赖人工标注的情况下生成高质量图像？ MIT CSAIL和FAIR Meta的这篇论文解决了不依赖人工标注生成高质量图像的挑战。他们提出了一个名为Representation-Conditioned Image Generation（RCG）的新型框架，该框架利用从图像分布经过预训练编码器获得的自监督表示分布。这个框架在无条件生成图像方面取得了优秀的结果，并且在有条件生成图像方面与领先方法一直保持竞争力。 历史上，监督学习主导了计算机视觉，但是像对比学习这样的自监督学习方法缩小了差距。尽管先前的图像生成工作在使用人工标注进行有条件生成方面表现出色，但无条件生成面临挑战。引入的框架RCG通过在没有人工标注的情况下在类有条件和类无条件图像生成方面取得了卓越的成果。 RCG取得了最先进的结果，标志着自监督图像生成的重大进展。 使用自监督教育的Representation Diffusion Model（RDM）可以帮助弥合图像生成中监督学习和无监督学习之间的差距。RCG将RDM与像素生成器集成，从而实现了潜在优势的类无条件图像生成。 RCG框架将图像生成条件化为通过预训练编码器从图像分布获得的自监督表示分布。利用像素生成器对像素进行条件化，RCG通过通过去噪扩散隐式模型进行的表示空间采样来集成RDM的训练。 RCG集成了无需分类器的指导，以改善生成模型的性能，如MAGE所示。像Moco v3这样的预训练图像编码器将表达式规范化为输入到RDM中。 RCG框架在类无条件图像生成方面表现出色，实现了最先进的结果，并在类有条件图像生成方面与领先方法相媲美。在ImageNet 256×256数据集上，RCG达到了3.31的Frechet Inception Distance和253.4的Inception Score，表明生成了高质量的图像。通过对表示进行条件化，RCG显著改善了像ADM，LDM和MAGE等不同像素生成器的类无条件生成，并进一步改善了性能的训练周期。 RCG的自我条件化图像生成方法在各种现代生成模型中具有通用性，始终改善类无条件生成。 RCG框架借助自监督表示分布在类无条件图像生成方面取得了突破性成果。其与多样的生成模型的无缝集成显著改善了它们的类无条件性能，而其不依赖于人工标注的自我条件化方法有望超越有条件方法。RCG的轻量级设计和任务特定的训练适应性使其能够利用大型无标签数据集。 RCG已经被证明是一种非常有效和有前途的高质量图像合成方法。

香港科技大学、卡内基梅隆大学和达特茅斯学院的研究人员开发了SANeRF-HQ（高质量中任意分割）方法，以实现复杂场景中准确的三维分割。以前基于NeRF的物体分割方法在准确性上有限。但是，SANeRF-HQ结合了“任意分割模型”（SAM）和“神经辐射场”（NeRF）以提高分割准确性，在复杂环境中提供高质量的三维分割。 NeRF在三维问题中很受欢迎，但在复杂场景中存在挑战。SANeRF-HQ通过使用由用户引导的SAM进行开放世界物体分割，以及使用NeRF进行信息聚合来克服这一挑战。它在分割对象定位和视图间一致的分割方面优于以前的NeRF方法。对NeRF数据集的定量评估突显了它对三维计算机视觉和分割的潜在贡献。 NeRF在使用多层感知器进行新视图合成方面表现出色。尽管NeRF内的三维物体分割取得了成功，但Semantic-NeRF和DFF等以往的方法依赖于受限的预训练模型。SAM允许使用多样的提示，对分割的零样本泛化表现出良好的适应性。SANeRF-HQ利用SAM进行开放世界分割和NeRF进行信息聚合，应对复杂场景的挑战，在分割质量上超越以前的NeRF分割方法。 SANeRF-HQ使用特征容器、掩码解码器和掩码聚合器实现高质量的三维分割。它对SAM特征进行编码，生成中间掩码，并使用NeRF的颜色和密度场将二维掩码整合到三维空间中。该系统结合了SAM和NeRF的开放世界分割和信息聚合。它可以使用NeRF渲染的视频和SAM的自动分割功能执行基于文本和自动的三维分割。 SANeRF-HQ在高质量的三维物体分割方面表现出色，超越以前的NeRF方法。它提供了对于物体定位和视图间分割的增强灵活性。在多个NeRF数据集上的定量评估证实了其有效性。SANeRF-HQ在动态NeRF方面表现出潜力，它可以根据文本提示进行分割，并实现自动三维分割。使用密度场、RGB相似度和Ray-Pair RGB损失能够提高分割准确性，填补缺失的内部和边界，从而改善视觉效果并获得更稳固的分割结果。 总之，SANeRF-HQ是一种高级的三维分割技术，它在多视角上超越了以前的NeRF方法，具有良好的灵活性和一致性。它在各种NeRF数据集上的出色表现表明，它有潜力为三维计算机视觉和分割技术做出重要贡献。将其扩展为四维动态NeRF物体分割，并利用密度场、RGB相似度和Ray-Pair RGB损失进一步提高其准确性和质量，以融入颜色和空间信息。 未来的研究可以探索SANeRF-HQ在四维动态NeRF物体分割方面的潜力。它可以通过在复杂和开放世界场景中的应用，结合语义分割和场景分解等先进技术的整合，提高其功能。对SANeRF-HQ在真实场景中的可用性和有效性进行用户研究可以提供有价值的反馈。对于大规模场景和数据集的可扩展性和效率的进一步研究对于优化实际应用中的性能至关重要。

在计算机视觉和机器人技术中，使用相机进行同时定位与地图构建（SLAM）是一个关键的主题，旨在使自主系统能够导航并理解其环境。传统SLAM系统主要强调几何映射，可以产生精确但审美基础的环境表示。然而，最近神经渲染的进步表明，可以将逼真的图像重建融入SLAM过程中，从而提高机器人系统的感知能力。 现有方法在很大程度上依赖于隐式表示，使其计算要求高，并且不适用于资源受限的设备上部署，尽管神经渲染与SLAM的融合产生了有希望的结果。例如，ESLAM使用多尺度紧凑的张量组件，而Nice-SLAM使用分层网格来保存反映环境的可学习特征。随后，它们合作估计相机位置并通过减少多条射线样本的重建损失来增加特征。优化过程非常耗时。因此，为了确保有效的收敛，它们必须集成来自多个源的相关深度信息，例如RGB-D相机、密集光流估计器或单目深度估计器。此外，由于多层感知器（MLP）解码隐式特征，通常需要精确指定边界区域以规范射线采样以取得最佳结果。这限制了系统的潜力扩展。这些限制表明，在使用便携式平台进行SLAM实时探索和未知区域的建图能力中，无法实现其中一个主要目标。 在本文中，香港科技大学和中山大学的研究团队提出了Photo-SLAM。这个新颖的框架在解决目前方法的可扩展性和计算资源限制的同时，执行在线逼真的建图和精确的定位。研究团队跟踪一张点云的超基本地图，其中包括旋转、缩放、密度、球谐系数和ORB特征。通过在原始图片和渲染图片之间反向传播损失，超基本地图使系统能够学习相应的映射并使用因子图求解器优化跟踪。而不是使用射线采样，采用三维高斯喷洒来生成图像。虽然引入三维高斯喷洒渲染器可以降低视角重建的成本，但在在线增量建图中无法产生高保真度的渲染，特别是在单目情况下。此外，研究团队提出了一种基于几何的加密技术和基于高斯金字塔（GP）的学习方法，以实现无需依赖密集深度信息的高质量建图。 图1：Photo-SLAM是一种革命性的实时框架，支持RGB-D、立体和单目相机进行同时定位和逼真地图构建。它的渲染速度高达每秒1000帧，可以重建高保真度的场景视图。 重要的是，GP学习使得多级特征逐渐获取变得更加容易，显著提高了系统的建图性能。研究团队在其漫长的试验中使用了各种由RGB-D、立体和单目相机拍摄的数据集来评估他们提出的方法的有效性。实验结果清楚地表明，PhotoSLAM在渲染速度、逼真地图质量和定位效率方面达到了最先进的性能。此外，Photo-SLAM系统在嵌入式设备上的实时操作展示了它在有用的机器人应用中的潜力。图1和图2显示了Photo-SLAM的操作概述。 图2：显示了Photo-SLAM的四个关键组成部分，它维护一个具有超基本元素的地图，包括定位、显式几何映射、隐式逼真映射和闭环组件。 本作品的主要成果如下： • 研究团队基于超原生地图和同时定位技术创建了首个逼真的测绘系统。这个新的框架适用于室内和室外的单目、双目和RGB-D相机。 • 研究团队提出了使用高斯金字塔学习的方法，使得模型能够有效快速地学习多层次的特征，从而实现高保真度的测绘。该系统即使在嵌入式系统上也能以实时速度运行，并通过完全的C++和CUDA实现实现了最先进的性能。代码将公开提供。

高质量的3D内容合成对于许多应用来说是一个至关重要且具有挑战性的问题，比如自动驾驶、机器人模拟、游戏、电影制作以及未来的VR/AR场景。由于越来越多的3D内容数据集的可用性，3D几何建模这个领域已经引起了计算机视觉和图形界的广泛研究兴趣。尽管3D几何建模已经取得了很大的进展，但是创建物品的外观或纹理仍然需要大量的人力。开发和编辑通常需要很长时间，并且需要具备使用Blender等3D建模程序的丰富经验。 因此，对于人类技能的高需求和相关成本阻碍了自主纹理设计和增强达到完全工业化。通过利用2D扩散模型的最新发展，特别是针对预定义形式的纹理合成方面的方法，已经在文本到3D创建方面取得了很大的进展。两个开创性的工作Text2Tex和Latent-Paint产生了高质量的物体外观，并实现了从输入提示中合成高保真度的纹理。虽然这些方法对于单个物体产生了有趣的结果，但要将它们扩展到为场景生成纹理仍然存在一些困难。 一方面，纹理接缝、累积的伪影和循环闭合问题是将2D视图投影到3D物体表面的自回归算法的常见问题。当每个物体都有自己的纹理时，保持图片风格的一致性可能是一项具有挑战性的任务。相反地，纹理优化是在低分辨率潜空间中使用基于分数蒸馏的方法进行的，这经常导致错误的几何细节和朦胧的RGB纹理。因此，之前的基于文本的方法无法生成高品质的3D场景纹理。 慕尼黑工业大学和Snap Research的研究团队提出了SceneTex，这是一个独特的设计，使用深度到图像扩散先验来为内部场景网格生成高质量且风格一致的纹理，以解决上述问题。该研究团队采用了一种独特的策略，将纹理创建视为使用扩散先验在RGB空间中进行纹理优化的挑战，而不是现有技术中反复将2D视图弯曲到网格表面上。基本上，研究团队引入了一个多分辨率纹理场，以细致地描绘网格的外观。研究团队使用多分辨率纹理以准确地呈现多种尺寸的纹理细节。因此，他们的设计现在可以适应低频和高频的外观信息。研究团队使用交叉注意力解码器来减少自遮挡引起的风格不一致，以确保所创建纹理的风格一致性。 从实用的角度来看，每个解码后的RGB值都是通过与分布在每个物体上的预采样参考表面位置进行交叉参考生成的。因为每个可见位置都会获得整个实例外观的全局参考，所以研究团队可以进一步确保每个模型内部的全局风格一致性。研究团队通过全面的试验表明，SceneTex可以根据提供的语言信号准确而灵活地创建内部场景的纹理。研究团队通过对3DFRONT数据集的部分进行用户研究，证明了SceneTex在2D指标（如CLIP和Inception分数）方面优于其他基于文本的纹理创建算法。 研究团队的技术贡献可以概括如下： • 使用深度到图像扩散先验，研究团队创建了一个独特的框架，用于生成高质量的高分辨率场景纹理。 • 研究团队使用多分辨率纹理通过提出隐式纹理场来准确捕捉丰富的纹理特征，以记录物体在多个尺度上的外观。 • 与以往的合成技术相比，研究团队通过使用交叉注意力纹理解码器，为3D-FRONT场景生成更美观和风格一致的纹理，以确保每个实例的全局风格一致性。