352 search results for "计算机视觉"

NeRF代表神经辐射场，是一种基于深度学习的三维场景重建和视图合成技术。为了准确地构建三维表示，通常需要多张场景的图像或视图。 NeRF包括一组从不同视点拍摄的场景图片。 NeRF已经激发了扩展和改进，例如NeRF-W，旨在使其更加高效、准确，并适用于各种场景，包括动态场景和实时应用。其变种对计算机视觉、计算机图形和三维场景重建领域都产生了重要影响。 然而，如果只有一张图片并且想要融入3D先验知识，就需要改善三维重建的质量。目前的技术限制了视野范围，这极大地限制了其在面对真实世界的360度全景场景和大尺寸情况下的可扩展性。研究人员提出了一种名为PERF的360度全景新视图合成框架。其中PERF代表全景神经辐射场。他们的框架通过单个全景图来训练一个全景神经辐射场。 全景图是通过捕捉多张图像，通常是连续的，然后将它们拼接在一起形成一个无缝的广角景观、城市景观或其他场景的表示。团队提出了一种协同RGBD修复方法，用于完成可见区域的RGB图像和深度图的修复。他们还训练了一个单目深度估计器，用于生成从输入全景图中不可见的新奇外观和三维形状。 从单个全景图中训练一个全景神经辐射场（NeRF）是一个具有挑战性的问题，原因是缺乏三维信息、大尺寸对象遮挡、重建和生成的耦合问题以及在填充期间可见区域和不可见区域之间的几何冲突。为了解决这些问题，PERF包括三个步骤：1）获得带深度监督的单视角NeRF训练；2）协同RGBD修复感兴趣区域；3）使用渐进式填充和抹除生成。 为了优化感兴趣区域的深度图预测并使其与整体全景场景一致，他们提出了填充和抹除方法，该方法通过从随机视角填充不可见区域并从其他参考视图中观察到的冲突几何区域进行抹除，以获得更好的三维场景完成。 研究人员在Replica和PERF-in-the-wild数据集上进行了实验。他们证明了PERF实现了最新的单视角全景神经辐射场技术。他们表示PERF可以应用于全景到三维、文本到三维和三维场景风格化任务，以获得令人惊叹的结果和几个有前景的应用。 PERF显著提高了单镜头NeRF的性能，但严重依赖深度估计器和稳定扩散的准确性。因此，团队表示未来的工作将包括改进深度估计器和稳定扩散模型的准确性。

视觉语言模型（VLM）是一种先进的人工智能系统，将自然语言理解与图像识别能力相结合。与OpenAI的CLIP和Google的BigGAN一样，VLM能够理解文本描述并解释图像，实现在计算机视觉、内容生成和人机交互等领域的各种应用。它们在理解和生成与视觉内容相关的文本方面展示出了令人印象深刻的能力，使其成为人工智能领域的关键技术。 来自Google Research、Google DeepMind和Google Cloud的研究人员对使用分类和对比目标预训练的视觉变换器（ViT）模型进行了对比，对比预训练模型，特别是基于SigLIP的PaLI，在多模态任务中表现出色，尤其是在定位和文本理解方面。研究人员将SigLIP图像编码器扩展到20亿个参数，实现了新的多语言跨模态检索技术的最新水平。他们的研究主张将视觉编码器的预训练应用于网络规模的图像-文本数据，而不是分类样式的数据。他们的方法揭示了通过PaLI-X在大型视觉语言模型中扩展分类预训练图像编码器的好处。 他们的研究深入探讨了缩放VLM的同时强调了小规模模型在实际应用和高效研究中的重要性。他们介绍了PaLI-3，一个具有50亿个参数并具有竞争力的VLM。PaLI-3的训练过程包括对图像编码器在网络规模数据上进行对比预训练、改进的数据集混合和更高分辨率的训练。他们还介绍了一个包含20亿参数的多语言对比视觉模型。消融研究证实了对比式预训练模型的优越性，尤其是与定位和视觉环境的文本理解相关的任务。 他们的方法采用预训练的ViT模型作为图像编码器，具体是ViT-G14，使用SigLIP的训练方法。ViT-G14具有大约20亿个参数，作为PaLI-3的视觉骨干。对比式预训练包括分别嵌入图像和文本，并对它们的对应关系进行分类。来自ViT输出的视觉记号被投影并与文本记号相结合。然后，这些输入由一个30亿个参数的UL2编码器-解码器语言模型进行处理，用于文本生成，通常由特定任务提示（如VQA问题）驱动。 与较大的模型相比，PaLI-3在定位和视觉环境的文本理解方面表现出色。基于SigLIP的PaLI模型，在对比图像编码器预训练的基础上，建立了一个新的多语言跨模态检索技术的最新水平。完整的PaLI-3模型在指代表达分割方面胜过现有技术，并在检测任务的子组中保持了低错误率。对比式预训练在定位任务中表现更加有效。PaLI-3的ViT-G图像编码器在多个分类和跨模态检索任务中表现出色。 总之，他们的研究强调了对比式预训练的好处，以SigLIP方法为例，以增强和提高VLM的效率。较小的50亿参数的基于SigLIP的PaLI-3模型在定位和文本理解方面表现出色，胜过了多样化多模态基准测试中的较大模型。在PaLI-3中，对图像编码器进行对比式预训练还实现了新的多语言跨模态检索技术的最新水平。他们的研究强调了对VLM训练的各个方面进行全面调查的必要性，超出图像编码器预训练，以进一步提高模型性能。

计算机视觉社区面临着各种各样的挑战。在预训练时代，许多研讨会论文讨论了建立多功能视觉工具的全面框架，用以引入多样化的视觉工具。在这个时期占主导地位的方法是在大量相关问题的数据上进行预训练，然后将其转移到与同一问题类型相关的各种实际场景中，通常使用零或少样本技术。 最近微软的一项研究深入探究了具有视觉和视觉语言功能的多模态基础模型的历史和发展，特别强调了从专门化助手到通用助手的转变。 根据他们的论文，主要讨论了三种初始策略的主要类别： 标签监督：标签监督使用先前标记的示例来训练模型。使用ImageNet和类似的数据集已经证明了这种方法的有效性。我们可以从互联网、图像和人工创建的标签中获得大量的嘈杂数据集。 也被称为“语言监督”，这种策略使用无监督的文本信号，最常见的是图像-文字对。CLIP和ALIGN是使用对比损失比较图像-文字对的预训练模型的例子。 仅使用图像作为监督信号的图像自监督学习：这种技术完全依赖视觉图像作为监督信号的来源。遮挡图像建模、非对比和对比学习都是可行的选择。 研究人员研究了几种用于视觉理解的方法，例如用于图像标注、视觉问答、基于区域的预训练用于引接和基于像素的预训练用于分割等，可以整合以获得最佳结果。 多模态基础模型 理解和解释以多种模态呈现的数据，如文本和图像，是多模态基础模型的特点。它们使得可能进行各种任务，否则需要大量的数据收集和综合。重要的多模态概念框架包括以下几个： CLIP（对比语言-图像预训练）是一种开创性的技术，用于发现共同的图像和文本嵌入空间。它可以进行图像-文本检索和零射击分类等任务。 BEiT（视觉中的BERT）将BERT的遮挡图像建模技术应用于视觉领域。可以预测遮挡图像中的令牌，使图像转化器能够进行其他任务。 CoCa（对比和字幕预训练）将对比学习与字幕损失相结合，用于对图像编码器进行预训练。多模态任务的完成现在成为可能，得益于释义图像字幕系统。 UniCL（统一对比学习）通过将CLIP的对比学习扩展到图像标签数据，实现了图像-文字和图像-标签对的统一对比预训练。 MVP（遮挡图像建模视觉预训练）是一种使用遮挡图像和高层特征目标进行预训练的视觉转换器方法。 为了提高MIM的精度，EVA（利用视觉-文本对齐）使用来自CLIP等模型的图像特征作为目标特征。 BEiTv2在BEiT的基础上改进，通过引入像DINO一样的自蒸馏损失来促进全局视觉表示的学习。 这些多模态基础模型极大地提高了计算机视觉和自然语言处理应用中的模型解释和处理能力。 他们的研究进一步探讨了“视觉生成”，发现文本到图像生成模型一直是图片合成的基础。这些模型已成功扩展，以允许更精细的用户控制和定制。与问题相关的大量数据的可用性和生成是实施这些多模态基础模型的关键因素。 T2I生成简介T2I生成试图提供与文本描述相对应的视觉效果。这些模型通常在图像和文本对上进行训练，其中文本提供输入条件，照片则作为所需的输出。 本书从稳定的扩散（SD）示例中解释了T2I模型。由于其基于交叉关注的图像-文本融合和基于扩散的生成方法，SD是一种备受喜爱的开源T2I模型。 稳定扩散的主要组成部分有三个：去噪统一神经网络（U-Net）、文本编码器和图像变分自动编码器（VAE）。VAE对图像进行编码，TEN对文本条件进行编码，Denoising U-Net在潜在空间中预测噪声以生成新的图像。 探讨提高T2I生成中的空间可控性，其中一种方法是允许在文本之外输入更多的空间条件，例如区域相关的文本描述、分割蒙版和关键点等密集空间要求。它探讨了ControlNet等T2I模型如何使用分割蒙版和边缘图等详尽限制来管理成像生成过程。 介绍了基于文本的编辑模型的最新发展；这些模型可以根据文本指令来修改照片，消除了用户生成蒙版的需要。通过对齐调整，T2I模型可以更好地遵循文本提示，类似于如何训练语言模型以改进文本生成。讨论了可能的解决方案，包括基于强化学习的解决方案。 随着文中提到的集成对齐解决方案的T2I模型日益受到欢迎，未来不再需要独立的图像和文本模型。在这项研究中，团队提出了一种统一的T2I模型输入界面，可以同时输入图像和文本，以辅助空间控制、编辑和概念定制等任务。…