Tag: Computer vision

神经渲染的进展在重建场景和生成新视点方面取得了显着突破。然而，其有效性很大程度上取决于相机姿态的精确预计算。为了减少这个问题，许多努力已经被做出来，以无需预计算相机姿态来训练神经辐射场（NeRFs）。然而，NeRFs的隐式表示使得同时优化3D结构和相机姿态变得困难。 来自UC San Diego、NVIDIA和UC Berkeley的研究人员引入了COLMAP-Free 3D Gaussian Splatting（CF-3DGS），它增强了两个关键要素：从视频中的时间连续性和显式的点云表示。CF-3DGS不是一次优化所有帧，而是以连续的形式构建场景的3D高斯，随着摄像机的移动，逐个“增长”一个结构。CF-3DGS为每个帧提取一个局部3D高斯集，并维护整个场景的全局3D高斯集。 https://arxiv.org/abs/2312.07504 使用不同的3D场景表示来生成真实的图像，包括平面、网格、点云和多平面图像。由于其出色的逼真渲染能力，NeRFs（神经辐射场）在该领域中备受关注。3DGS（三维高斯喷溅）方法利用纯显式表示和差分点基喷溅方法实现对视图的实时渲染。 CF-3DGS合成未知相机参数的视图。它同时优化3D高斯喷溅（3DGS）和相机姿态。它使用局部3DGS方法从附近帧中估计相对相机姿态，使用全局3DGS过程从未观察到的视图中逐步扩展3D高斯。CF-3DGS利用显式的点云来表示场景，并利用视频流中的连续性。它按顺序处理输入帧，逐步扩展3D高斯以重建场景。这种方法实现了快速训练和推理速度。 https://arxiv.org/abs/2312.07504 CF-3DGS方法在姿态估计和新视图合成的稳健性方面优于先前最先进的方法。该方法在CO3D视频上进行验证，这些视频呈现了更复杂和具有挑战性的相机移动，并且在视图合成质量方面胜过了Nope-NeRF方法。该方法在CO3D V2数据集上的相机姿态估计的所有指标上一直超过Nope-NeRFe，表明它在估计相机姿态方面的稳健性和准确性，尤其是在具有复杂相机移动的场景中。 综上所述，CF-3DGS是一种有效且稳健的方法，利用视频的时间连续性和显式点云表示合成视图，无需进行结构运动（SfM）预处理。它同时优化相机姿态和3DGS，主要适用于视频流或有序图像集合。它还具有未来扩展的潜力，以适应无序图像集合。

三维人体动作重建是一个复杂的过程，涉及准确捕捉和建模人体主体在三维空间中的动作。当处理由移动相机在现实世界环境中捕获的视频时，这项工作变得更加具有挑战性，因为它们经常出现脚滑等问题。然而，来自卡内基梅隆大学和马克斯普朗克智能系统研究所的研究人员开发了一种名为WHAM（基于世界的具有准确运动的人体）的方法来解决这些挑战，并实现精确的三维人体动作重建。 该研究审查了从图像中恢复三维人体姿态和形状的两种方法：无模型和基于模型。它强调了在模型化方法中使用深度学习技术来估计统计身体模型参数的重要性。现有基于视频的三维人体姿态估计方法通过各种神经网络架构引入时间信息。某些方法使用附加传感器（如惯性传感器），但它们可能会对使用者造成干扰。WHAM通过有效地结合三维人体运动和视频上下文、利用先验知识并在全局坐标中准确重建三维人体活动而脱颖而出。 该研究解决了从单目视频准确估计三维人体姿态和形状的挑战，强调全局坐标一致性、计算效率和真实脚地接触。利用AMASS动作捕捉和视频数据集，WHAM结合运动编码器-解码器网络将2D关键点提升到3D姿态，利用特征集成器处理时间线索，并利用考虑脚接触的全局运动估计的轨迹细化网络，提高在非平面表面上的准确性。 WHAM采用单向RNN进行在线推理和精确的三维动作重建，其中运动编码器用于上下文提取，运动解码器用于SMPL参数、相机平移和脚接触概率。利用包围盒标准化技术有助于提取运动上下文。图像编码器在预训练的人类网格恢复时捕捉和整合图像特征与运动特征。轨迹解码器预测全局方向，细化过程减小脚滑动。在合成的AMASS数据上进行训练，WHAM在评估中优于现有方法。 https://arxiv.org/abs/2312.07531 WHAM超越了当前最先进的方法，展现出在单帧和基于视频的三维人体姿态和形状估计方面的卓越准确性。WHAM通过利用运动上下文和脚接触信息实现精确的全局轨迹估计，减小脚滑动，增强国际协调性。该方法通过整合2D关键点和像素特征，提高了三维人体运动重建的准确性。对野外基准数据集的评估证明了WHAM在MPJPE、PA-MPJPE和PVE等指标上的卓越表现。轨迹细化技术进一步提升了全局轨迹估计的精度，减小了脚滑动，通过改进的错误指标得到了证明。 总之，该研究的要点可以总结为： WHAM引入了一种结合三维人体运动和视频上下文的先导性方法。 该技术提升了三维人体姿态和形状回归。 该过程使用了全局轨迹估计框架，包括运动上下文和脚接触。 该方法解决了脚滑动问题，确保在非平面表面上的准确三维跟踪。 WHAM的方法在多个基准数据集上表现出色，包括3DPW、RICH和EMDB。 该方法在全局坐标中优秀地完成了高效的人体姿态和形状估计。 该方法的特征集成和轨迹细化显著提高了运动和全局轨迹的准确性。 该方法的准确性通过深入的消融研究得到了验证。

许多生物学的分支，包括生态学、进化生物学和生物多样性学，越来越多地将数字图像和计算机视觉作为研究工具。现代技术极大地提高了他们分析来自博物馆、相机陷阱和公民科学平台的大量图像的能力。这些数据随后可以用于物种划分、理解适应机制、估计种群结构和丰度，以及监测和保护生物多样性。 然而，当试图使用计算机视觉来解决生物学问题时，寻找和训练适合特定任务的合适模型，并手动标记足够的数据以用于特定物种和研究仍然是重大挑战。这需要大量的机器学习知识和时间。 来自俄亥俄州立大学、微软、加州大学欧文分校和伦斯勒理工学院的研究人员正在研究在该努力中构建“生命之树”基础视觉的模型。该模型必须满足以下要求，以便广泛适用于真实生物学任务。首先，它需要能够适应调查各种不同类群的研究人员，而不仅仅是一个类群，并且最好能够推广到整个生命之树。此外，它应该获取生物图像的细粒度表示，因为在生物学领域常常会遇到外观相似的生物体，例如同属或为了适应而模仿对方外观的近亲物种。由于生命之树将生物事物组织成广泛的群组（如动物、真菌和植物）和非常细粒度的群组，这种粒度水平是重要的。最后，在数据收集和标记在生物学中的高昂费用的情况下，具有低数据区域（即零样本或少样本）的优秀结果是至关重要的。 当前训练在数亿张图像上的通用领域视觉模型在应用于进化生物学和生态学时表现不佳，尽管这些目标对计算机视觉来说并不新鲜。研究人员确定了在生物学中创建视觉基础模型的两个主要障碍。首先，需要更好的预训练数据集，因为目前可用的数据集在规模、多样性或标签细粒度方面都不足。其次，由于当前的预训练算法不能很好地满足这三个主要目标，因此有必要找到更好的预训练方法，利用生物领域的独特特征。 考虑到这些目标和实现障碍，团队提出了以下内容： TREEOFLIFE-10M，一个庞大的ML准备生物学图片数据集 BIOCLIP是一个基于适当类群在TREEOFLIFE-10M中进行训练的生命之树的视觉模型。 TREEOFLIFE-10M是一个广泛而多样的生物图像数据集，适用于ML。研究人员已经策划和发布了迄今为止最大的ML准备生物学图像数据集，其中包含超过1000万张照片，涵盖了生命之树上的45.4万个类群，并附带有分类标签。仅有270万张照片代表10,000个类群的iNat21是最大的ML准备生物学图像集合。现有的高质量数据集，如iNat21和BIOSCAN-1M，已纳入TREEOFLIFE-10M中。TREEOFLIFE-10M中的大部分数据多样性来自生命百科全书（eol.org），其中包含了该来源的最新选定的照片。TREEOFLIFE-10M中的每张图像的分类层次和更高分类排名都进行了最大程度的注释。借助TREEOFLIFE-10M，可以培训BIOCLIP和其他生物学的未来模型。 BIOCLIP是基于视觉的生命之树的表示。在像TREEOFLIFE10M这样的大规模标记数据集上训练视觉模型的一个常见且简单的方法是使用监督分类目标，从图像中学习预测分类标志。ResNet50和Swin Transformer也使用了这种策略。然而，这种方法忽视并没有利用复杂的分类系统——类群不是孤立存在的，而是在一个完整的分类系统中相互关联。因此，使用基本的监督分类进行训练的模型可能无法对未知的类群进行零样本分类或对训练期间不存在的类群进行很好的泛化。相反，团队采用了一种新方法，将BIOCLIP的广泛生物分类与CLIP风格的多模式对比学习相结合。通过使用CLIP对比学习目标，他们可以在将分类系统从王国级别扁平化为代表分类名称的字符串之后，学习将图片与相应的分类名称关联起来。当使用不可见的类群的分类名称时，BIOCLIP还可以进行零样本分类。 团队还建议并展示了一种混合文本类型训练技术的益处；这意味着他们保留了分类学名称的概括性，但在测试时更具灵活性，通过结合多种文本类型（例如，科学名称与通用名称）进行训练。例如，下游用户仍然可以使用通用物种名称，而BIOCLIP将表现出色。他们对BIOCLIP进行了全面评估，涵盖了涉及植物、动物和昆虫的十个细粒度图片分类数据集，以及一个专门策划的罕见物种数据集，在训练过程中未使用。BIOCLIP显著超过了CLIP和OpenCLIP，在少样本和零样本情况下，分别取得了平均绝对提升17%和18%的成绩。此外，它的内在分析可以解释BIOCLIP更好的泛化能力，表明它已经学习到了符合生命之树的分层表示。 尽管团队使用了CLIP目标来有效地学习数十万个分类群的视觉表示，BIOCLIP的训练仍然专注于分类。为了使BIOCLIP能够提取细粒度的特征级表示，他们计划在未来的工作中加入来自inaturalist.org的研究级照片，该网站拥有1亿张照片或更多，并收集物种外观的更详细的文本描述。

扩散模型在给定文本提示时已被证明在生成高质量照片方面非常成功。这种文本到图片（T2I）生成的范例已成功用于一些下游应用，包括深度驱动的图片生成以及主体/分割识别。两个受欢迎的基于文本条件的扩散模型，CLIP模型和潜在扩散模型（LDM），通常被称为稳定扩散，对这些进展至关重要。LDM在研究中以开源软件的形式免费提供，因此得到了广泛熟知。而对于未CLIP模型，却鲜有关注。这两种模型类型的基本目标都是根据文本提示训练扩散模型。 与未CLIP模型不同，LDM只有一个文本到图片扩散模型，而不需要文本到图片先验和扩散图片解码器。这两个模型家族都在图像的矢量量化潜空间内运作。因为未CLIP模型在多个组合基准测试中通常优于其他SOTA模型，如T2I-CompBench和HRS-Benchmark，所以研究团队在本文中将重点放在它们身上。这些T2I模型通常有很多参数，需要优秀的图像-文本对进行训练。与LDM相比，如DALL-E-2、卡洛和康定斯基等未CLIP模型由于它们的早期模块，其总模型大小要大得多（≥ 2B），约有10亿参数。 按照顺序，这些未CLIP模型的训练数据分别为250M、115M和177M个图像-文本对。因此，仍然存在两个重要问题：1）使用文本到图片先验能否提高文本组合的SOTA性能？2）或者模型大小的增加才是关键因素？通过增加参数和数据效率，研究团队旨在改善他们对T2I先验的认识，并在目前的公式上作出重大改进。先验的T2I目标是在扩散过程的每个时间步骤中直接估计无噪声图像嵌入，正如先前的研究所建议的那样，它们也是扩散模型。为了研究这个先前的传播过程，研究团队进行了实证调查。 图1比较了SOTA文本到图片模型在三个组合任务（颜色、形状和纹理）上的平均性能以及总参数数量。ECLIPSE只需要很少的训练数据，但却能产生更好的结果，并且使用较少的参数。所展示的ECLIPSE使用康定斯基解码器，通过仅使用500万个图像-文本对进行训练，使用约3300万个参数训练了一个T2I先验模型。 研究团队发现了扩散过程对性能的轻微负面影响，并且对产生正确图片没有影响。此外，由于扩散模型收敛速度较慢，训练它们需要显著的GPU小时或天数。因此，在本研究中，非扩散模型作为替代方法。由于缺乏无分类器引导，这种方法可能会限制组合性的可能性，但却大大提高了参数效率并减少了对数据的依赖。 在这项研究中，亚利桑那州立大学的研究团队提出了一种独特的对比学习技术，称为ECLIPSE，来增强T2I非扩散先验并克服上述缺点。研究团队优化了传统方法，即通过优化证据下界（ELBO）产生图像嵌入来从所提供的文本嵌入生成图片。研究团队建议使用预训练的视觉语言模型的语义对齐（文本和图片之间）特征来监督早期训练。研究团队使用相对较少的图像-文本对（0.34% – 8.69%）使用ECLIPSE训练紧凑的（97%更小）的非扩散先验模型（具有3300万个参数）。研究团队为未CLIP扩散图片解码器的变体（卡洛和康定斯基）引入了ECLIPSE训练的先验。ECLIPSE训练的先验模型优于拥有10亿参数的对应版本，并且优于基准先验学习算法。他们的研究结果表明了一条可能的T2I生成模型的路径，这种模型在不需要很多参数或数据的情况下提高了组合性。 如图1所示，它们的总参数和数据需求显著降低，并通过增加T2I在unCLIP家族之前取得了与相似参数模型相媲美的性能。贡献：1）在unCLIP框架下，研究团队提供了ECLIPSE，这是首个利用对比学习进行文本到图像先验的尝试。2）通过全面的实验，研究团队证明了ECLIPSE在资源受限环境中优于基线先验的优越性。3）值得注意的是，ECLIPSE先验仅需使用训练数据的2.8％和模型参数的3.3％即可获得与更大模型相当的性能。4）研究团队还研究了当前T2I扩散先验的缺点，并提供了实证观察结果。

在一项具有突破性的举措中，Meta AI的研究人员解决了实现动态3D头像的高保真重照的长期挑战。传统方法常常需要在捕捉面部表情的复杂细节方面迎头赶上，尤其是在效率至上的实时应用中。Meta AI的研究团队通过推出可重光高斯编码人偶的方法回应了这一挑战，该方法有望重新定义人偶逼真度的领域。 研究团队致力于解决的核心问题是在动态面部序列中捕捉亚毫米细节（如头发和毛孔）更加清晰的需求。在高效建模人类头部的多种材料（包括眼睛、皮肤和头发）以及适应全频反射的同时，固有复杂性也引发了现有方法的局限性，迫切需要一种能够将逼真与实时性能无缝融合的创新解决方案。 对于可重光人偶的现有方法，实时性能和真实度之间一直没有找到平衡。一个持久存在的挑战是需要一种方法能够在实时应用中捕捉到动态面部细节。Meta AI的研究团队意识到了这一差距，并推出了“可重光高斯编码人偶”作为一种具有改变性的解决方案。 Meta AI的方法引入了基于3D高斯的几何模型，提供了亚毫米级精度的准确性。这是在捕捉动态面部序列方面的重大进步，确保人偶展现出生动的细节，包括头发和毛孔的微妙之处。可重光外观模型是这种创新方法的关键组成部分，其基于可学习辐射传输技术构建。 https://arxiv.org/abs/2312.03704 这些人偶的独特之处在于它们在人偶构建方面的综合方法。基于3D高斯的几何模型为人偶提供了骨干，使得可以使用高斯喷洒技术进行高效渲染。外观模型由可学习辐射传输驱动，结合了漫反射球谐和反射高斯球面。这种组合使人偶能够通过点光源和连续照明进行实时重照。 除了这些技术方面，该方法还引入了表情、凝视、视角和照明的可分解控制。借助潜在表情代码、凝视信息和目标视角方向，可以实现人偶的动态动画。这种控制水平在人偶动画方面迈出了重要的一步，提供了丰富多样的互动用户体验。 这些人偶不仅是理论上的进步，它们也带来了实际结果。该方法允许通过头戴摄像头实时驱动的视频动画来对各个方面进行可分解控制。这种能力创造了动态的、互动的内容，让实时视频输入能够无缝驱动人偶。 总之，Meta AI的“可重光高斯编码人偶”证明了创新在解决复杂问题中的力量。通过将基于3D高斯的几何模型与一种革命性的可学习辐射传输外观模型相结合，研究团队已经超越了现有方法的局限性，树立了人偶逼真度的新标准。

斯坦福大学和FAIR Meta的研究人员引入了CHOIS来解决在3D场景中生成物体和人类的同步运动的问题。该系统基于稀疏的物体航点、物体和人类的初始状态以及文本描述来运作。它通过在指定的3D环境中为两者产生逼真且可控的动作来控制人类和物体之间的交互。 利用类似AMASS这样的大规模、高质量的动作捕捉数据集，人们对生成式人体运动建模的兴趣日益增加，包括有条件的动作和文本生成。之前的研究使用VAE公式来从文本生成多样化的人体运动，而CHOIS则专注于人体与物体的互动。与现有方法通常集中在手部动作合成不同，CHOIS考虑到在抓取物体之前的全身动作，并根据人体的动作预测物体的运动，为交互式3D场景模拟提供了综合解决方案。 CHOIS解决了在3D环境中合成逼真人类行为的关键需求，这对计算机图形学、具体化人工智能和机器人技术至关重要。CHOIS通过基于语言描述、初始状态和稀疏物体航点来生成同步的人类和物体运动来推动该领域的发展。它解决了现实运动生成、适应环境杂乱以及从语言描述中合成交互等挑战，为多样化的3D场景中可控人体与物体交互提供了综合系统。 该模型使用条件扩散方法根据语言描述、物体几何和初始状态生成同步的物体和人体运动。在采样过程中加入约束以确保逼真的人与物接触。训练阶段使用损失函数来引导模型预测物体变换而无需明确强制接触约束。 CHOIS系统经过与基准模型和消融实验的严格评估，展示了在条件匹配、接触准确性、减少手部与物体的穿透以及脚部漂浮等指标上表现出的卓越性能。在FullBodyManipulation数据集上，物体几何损失增强了模型的能力。CHOIS在3D-FUTURE数据集上的表现超过了基准模型和消融模型，展示了其对新物体的泛化能力。人类感知研究突出了CHOIS与基准模型相比，在与输入文本的对齐和交互质量方面表现更好。定量指标，包括位置和方向误差，衡量了生成结果与真实运动之间的偏差。 总之，CHOIS是一个基于语言描述和稀疏物体航点生成逼真的人与物体交互的系统。该过程在训练过程中考虑到物体几何损失，并在采样过程中使用有效的引导项来增强结果的逼真度。CHOIS学习到的交互模块可以集成到根据语言和3D场景合成长期交互的流水线中。CHOIS在生成与提供的语言描述相一致的逼真人与物体交互方面有显著改进。 未来的研究可以探索通过集成额外的监督，如物体几何损失，来提高生成的物体运动与输入航点的匹配度。研究如何使用更高级的引导项来强制接触约束，可能会得到更逼真的结果。将评估扩展到多样化的数据集和场景将测试CHOIS的泛化能力。进一步的人类感知研究可以提供对生成的交互更深入的洞察。将学习到的交互模块应用于根据3D场景的物体航点生成长期交互也将扩大CHOIS的适用性。

人工智能（AI）和深度学习的进步，彻底改变了人类与计算机互动的方式。通过引入扩散模型，生成建模在文本生成、图片生成、音频合成和视频制作等各个领域都展示出了卓越的能力。 尽管扩散模型表现出卓越的性能，但这些模型通常计算成本较高，主要与庞大的模型大小和顺序去噪过程有关。这些模型的推理速度非常慢，为解决这一问题，研究人员进行了一系列努力，包括减少样本步骤的数量，使用模型修剪、蒸馏和量化等技术降低每个步骤的模型推理开销。 传统的扩散模型压缩方法通常需要大量的重新训练，这带来了实践和资金上的困难。为了克服这些问题，研究人员团队推出了DeepCache，一种新颖的无训练范式，旨在优化扩散模型的体系结构以加速扩散过程。 DeepCache利用了扩散模型连续去噪阶段固有的时间冗余性。这种冗余性的原因在于某些特征在连续的去噪步骤中会重复出现。它通过引入针对这些特性的缓存和检索方法，大大减少了重复计算。团队表示，这种方法基于U-Net属性，可以在有效更新低级特征的同时重复使用高级特征。 DeepCache的创意方法有效提高了Stable Diffusion v1.5的速度2.3倍，仅降低0.05的CLIP评分。同时，在LDM-4-G上展示出了印象深刻的4.1倍速度提升，虽然在ImageNet上的FID损失为0.22。 研究人员对DeepCache进行了评估，实验比较结果显示，DeepCache的性能优于当前的修剪和蒸馏技术，而这些技术通常需要重新训练。它甚至展示了与现有采样方法相兼容的特点。在相同吞吐量下，它与DDIM或PLMS的性能相似或略优，最大限度地提高了效率而不损失产生的输出质量。 研究人员总结了DeepCache的主要贡献如下： DeepCache与当前快速采样器配合良好，展示了实现类似甚至更好生成能力的可能性。 它通过在运行时动态压缩扩散模型，提高了图像生成速度，无需额外训练。 利用可缓存特征，DeepCache通过使用高级特征的时间一致性，减少了重复计算。 DeepCache通过引入定制的扩展缓存间隔技术，提高了特征缓存的灵活性。 在CIFAR、LSUN-Bedroom/Churches、ImageNet、COCO2017和PartiPrompt上的实验表明，DeepCache在DDPM、LDM和Stable Diffusion模型上的效果更好。 与需要重新训练的修剪和蒸馏算法相比，DeepCache的性能更好，保持了更高的效能。 总之，DeepCache作为一种扩散模型加速器，显示出巨大的潜力，为传统的压缩技术提供了有用且经济实惠的替代方案。

文本到图像扩散模型代表了人工智能研究中一个有趣的领域。它们旨在根据文本描述创建逼真的图像，利用扩散模型进行生成。该过程涉及从基本分布中逐步生成样本，逐渐转化为与目标图像相似，同时考虑文本描述。多个步骤参与其中，将逐步引入噪音来生成图像。 目前的文本到图像扩散模型面临一个现有的挑战：仅凭文本描述准确地描绘一个主题。当需要生成复杂细节，如人脸特征时，尤其明显。因此，在探索超越文本线索的保持身份的图像合成方面，人们越来越有兴趣。 腾讯的研究人员提出了一种新的方法，专注于人体图像的身份保持图像合成。他们的模型采用了直接向前传递的方法，绕过复杂的微调步骤，以便快速高效地生成图像。它利用文本提示并结合样式和身份影像的额外信息。 他们的方法涉及一种多身份跨注意机制，使模型能够将来自不同身份的特定引导细节与图像中的不同人体区域相关联。通过使用包含人体图像的数据集对模型进行训练，并以人脸特征作为身份输入，模型学会在强调身份特征的同时重建人体图像。 他们的模型展示了在保留主体身份的同时合成人体图像的出色能力。此外，它使用户能够将自己的面部特征投影到不同风格的图像（如卡通），使用户能够在不损害身份的前提下以不同的风格进行可视化。此外，当提供相应的参考照片时，它在混合多个身份的创意生成方面表现出色。 他们的模型在单镜头和多镜头场景中展示了出色的性能，凸显了其在保护身份方面的设计的有效性。尽管基线图像重建大致保持图像内容，但在细粒度身份信息方面存在困难。相反，他们的模型成功地从身份引导分支中提取身份信息，从而为面部区域实现了更好的结果。 然而，该模型复制人脸的能力引发了伦理关注，尤其是可能创建冒犯性或文化不恰当的图像。负责任地使用这项技术至关重要，需要制定准则以防止在敏感情境中滥用。

如何有效地完成3D捕获的缺失部分？这篇来自Google Research和UC Berkeley的研究论文介绍了“NeRFiller”，一种新颖的3D修补方法，解决了由于重建失败或缺乏观察而经常缺失的不完整的3D场景或物体的重建问题。该方法通过参考示例控制修补过程，从而实现精确和可定制的场景修补。NeRFiller是一种3D生成修补方法，可以增强3D捕获中的场景或物体，是改善3D重建的有效解决方案。 该研究探讨了从传统的2D修补到像LaMa这样的大规模修补技术的不同方法，涉及概率和潜在扩散模型，考虑到涉及文本或图像的3D生成方法。强调了对象去除设置的相关性，并对3D修补的各种基准和数据集进行了评估。虽然涉及视频和场景编辑的相关作品，但重点主要是现有3D场景的场景完成。 该研究解决了3D场景补全和修补的挑战，强调了3D感知和多视角一致性方法的重要性。区分了场景补全和对象去除，重点是在3D场景中生成新的内容。讨论了2D生成修补模型在3D一致图像方面的限制。所提出的NeRFiller方法利用了从文本到图像扩散模型中的网格先验现象，以增强修补中的多视角一致性。还讨论了生成3D场景和对象去除方法的相关作品。 NeRFiller是一种利用生成的2D扩散模型作为修补的方法，用于完成3D场景中的缺失区域。它解决了各种修补估计和2D模型中缺乏3D一致性的挑战。NeRFiller引入了用于显著修补结果的整合机制，并鼓励3D特性。它利用迭代的3D场景优化，将网格修补扩展到大型图像集合。对比了Masked NeRF和LaMask等基准，证明了NeRFiller的有效性。评估包括比较、新视图度量、图像质量和几何度量。 NeRFiller在3D场景完成方面表现出色，填补了缺失区域并去除了不需要的遮挡物，在3D一致性和合理性方面表现出色。与对象去除基准相比，NeRFiller在完成缺失区域方面表现优异。评估指标包括NeRF、新视图、MUSIQ图像质量和几何度量，展示了它在生成连贯和逼真的3D场景方面的有效性。 总之，NeRFiller是一款强大的3D修补工具，可以准确完成3D场景中的缺失部分。它填充间隙并去除非理想元素的能力优于对象去除基准。引入联合多视角修补进一步增强其一致性，通过在多个图像上平均噪声预测。通过与最先进的基准进行比较，NeRFiller表现出了完成用户指定的3D场景的有效性。它为根据用户定义的规范修补3D捕获中的缺失区域提供了有价值的框架。

如何在不依赖人工标注的情况下生成高质量图像？ MIT CSAIL和FAIR Meta的这篇论文解决了不依赖人工标注生成高质量图像的挑战。他们提出了一个名为Representation-Conditioned Image Generation（RCG）的新型框架，该框架利用从图像分布经过预训练编码器获得的自监督表示分布。这个框架在无条件生成图像方面取得了优秀的结果，并且在有条件生成图像方面与领先方法一直保持竞争力。 历史上，监督学习主导了计算机视觉，但是像对比学习这样的自监督学习方法缩小了差距。尽管先前的图像生成工作在使用人工标注进行有条件生成方面表现出色，但无条件生成面临挑战。引入的框架RCG通过在没有人工标注的情况下在类有条件和类无条件图像生成方面取得了卓越的成果。 RCG取得了最先进的结果，标志着自监督图像生成的重大进展。 使用自监督教育的Representation Diffusion Model（RDM）可以帮助弥合图像生成中监督学习和无监督学习之间的差距。RCG将RDM与像素生成器集成，从而实现了潜在优势的类无条件图像生成。 RCG框架将图像生成条件化为通过预训练编码器从图像分布获得的自监督表示分布。利用像素生成器对像素进行条件化，RCG通过通过去噪扩散隐式模型进行的表示空间采样来集成RDM的训练。 RCG集成了无需分类器的指导，以改善生成模型的性能，如MAGE所示。像Moco v3这样的预训练图像编码器将表达式规范化为输入到RDM中。 RCG框架在类无条件图像生成方面表现出色，实现了最先进的结果，并在类有条件图像生成方面与领先方法相媲美。在ImageNet 256×256数据集上，RCG达到了3.31的Frechet Inception Distance和253.4的Inception Score，表明生成了高质量的图像。通过对表示进行条件化，RCG显著改善了像ADM，LDM和MAGE等不同像素生成器的类无条件生成，并进一步改善了性能的训练周期。 RCG的自我条件化图像生成方法在各种现代生成模型中具有通用性，始终改善类无条件生成。 RCG框架借助自监督表示分布在类无条件图像生成方面取得了突破性成果。其与多样的生成模型的无缝集成显著改善了它们的类无条件性能，而其不依赖于人工标注的自我条件化方法有望超越有条件方法。RCG的轻量级设计和任务特定的训练适应性使其能够利用大型无标签数据集。 RCG已经被证明是一种非常有效和有前途的高质量图像合成方法。

香港科技大学、卡内基梅隆大学和达特茅斯学院的研究人员开发了SANeRF-HQ（高质量中任意分割）方法，以实现复杂场景中准确的三维分割。以前基于NeRF的物体分割方法在准确性上有限。但是，SANeRF-HQ结合了“任意分割模型”（SAM）和“神经辐射场”（NeRF）以提高分割准确性，在复杂环境中提供高质量的三维分割。 NeRF在三维问题中很受欢迎，但在复杂场景中存在挑战。SANeRF-HQ通过使用由用户引导的SAM进行开放世界物体分割，以及使用NeRF进行信息聚合来克服这一挑战。它在分割对象定位和视图间一致的分割方面优于以前的NeRF方法。对NeRF数据集的定量评估突显了它对三维计算机视觉和分割的潜在贡献。 NeRF在使用多层感知器进行新视图合成方面表现出色。尽管NeRF内的三维物体分割取得了成功，但Semantic-NeRF和DFF等以往的方法依赖于受限的预训练模型。SAM允许使用多样的提示，对分割的零样本泛化表现出良好的适应性。SANeRF-HQ利用SAM进行开放世界分割和NeRF进行信息聚合，应对复杂场景的挑战，在分割质量上超越以前的NeRF分割方法。 SANeRF-HQ使用特征容器、掩码解码器和掩码聚合器实现高质量的三维分割。它对SAM特征进行编码，生成中间掩码，并使用NeRF的颜色和密度场将二维掩码整合到三维空间中。该系统结合了SAM和NeRF的开放世界分割和信息聚合。它可以使用NeRF渲染的视频和SAM的自动分割功能执行基于文本和自动的三维分割。 SANeRF-HQ在高质量的三维物体分割方面表现出色，超越以前的NeRF方法。它提供了对于物体定位和视图间分割的增强灵活性。在多个NeRF数据集上的定量评估证实了其有效性。SANeRF-HQ在动态NeRF方面表现出潜力，它可以根据文本提示进行分割，并实现自动三维分割。使用密度场、RGB相似度和Ray-Pair RGB损失能够提高分割准确性，填补缺失的内部和边界，从而改善视觉效果并获得更稳固的分割结果。 总之，SANeRF-HQ是一种高级的三维分割技术，它在多视角上超越了以前的NeRF方法，具有良好的灵活性和一致性。它在各种NeRF数据集上的出色表现表明，它有潜力为三维计算机视觉和分割技术做出重要贡献。将其扩展为四维动态NeRF物体分割，并利用密度场、RGB相似度和Ray-Pair RGB损失进一步提高其准确性和质量，以融入颜色和空间信息。 未来的研究可以探索SANeRF-HQ在四维动态NeRF物体分割方面的潜力。它可以通过在复杂和开放世界场景中的应用，结合语义分割和场景分解等先进技术的整合，提高其功能。对SANeRF-HQ在真实场景中的可用性和有效性进行用户研究可以提供有价值的反馈。对于大规模场景和数据集的可扩展性和效率的进一步研究对于优化实际应用中的性能至关重要。

在计算机视觉和机器人技术中，使用相机进行同时定位与地图构建（SLAM）是一个关键的主题，旨在使自主系统能够导航并理解其环境。传统SLAM系统主要强调几何映射，可以产生精确但审美基础的环境表示。然而，最近神经渲染的进步表明，可以将逼真的图像重建融入SLAM过程中，从而提高机器人系统的感知能力。 现有方法在很大程度上依赖于隐式表示，使其计算要求高，并且不适用于资源受限的设备上部署，尽管神经渲染与SLAM的融合产生了有希望的结果。例如，ESLAM使用多尺度紧凑的张量组件，而Nice-SLAM使用分层网格来保存反映环境的可学习特征。随后，它们合作估计相机位置并通过减少多条射线样本的重建损失来增加特征。优化过程非常耗时。因此，为了确保有效的收敛，它们必须集成来自多个源的相关深度信息，例如RGB-D相机、密集光流估计器或单目深度估计器。此外，由于多层感知器（MLP）解码隐式特征，通常需要精确指定边界区域以规范射线采样以取得最佳结果。这限制了系统的潜力扩展。这些限制表明，在使用便携式平台进行SLAM实时探索和未知区域的建图能力中，无法实现其中一个主要目标。 在本文中，香港科技大学和中山大学的研究团队提出了Photo-SLAM。这个新颖的框架在解决目前方法的可扩展性和计算资源限制的同时，执行在线逼真的建图和精确的定位。研究团队跟踪一张点云的超基本地图，其中包括旋转、缩放、密度、球谐系数和ORB特征。通过在原始图片和渲染图片之间反向传播损失，超基本地图使系统能够学习相应的映射并使用因子图求解器优化跟踪。而不是使用射线采样，采用三维高斯喷洒来生成图像。虽然引入三维高斯喷洒渲染器可以降低视角重建的成本，但在在线增量建图中无法产生高保真度的渲染，特别是在单目情况下。此外，研究团队提出了一种基于几何的加密技术和基于高斯金字塔（GP）的学习方法，以实现无需依赖密集深度信息的高质量建图。 图1：Photo-SLAM是一种革命性的实时框架，支持RGB-D、立体和单目相机进行同时定位和逼真地图构建。它的渲染速度高达每秒1000帧，可以重建高保真度的场景视图。 重要的是，GP学习使得多级特征逐渐获取变得更加容易，显著提高了系统的建图性能。研究团队在其漫长的试验中使用了各种由RGB-D、立体和单目相机拍摄的数据集来评估他们提出的方法的有效性。实验结果清楚地表明，PhotoSLAM在渲染速度、逼真地图质量和定位效率方面达到了最先进的性能。此外，Photo-SLAM系统在嵌入式设备上的实时操作展示了它在有用的机器人应用中的潜力。图1和图2显示了Photo-SLAM的操作概述。 图2：显示了Photo-SLAM的四个关键组成部分，它维护一个具有超基本元素的地图，包括定位、显式几何映射、隐式逼真映射和闭环组件。 本作品的主要成果如下： • 研究团队基于超原生地图和同时定位技术创建了首个逼真的测绘系统。这个新的框架适用于室内和室外的单目、双目和RGB-D相机。 • 研究团队提出了使用高斯金字塔学习的方法，使得模型能够有效快速地学习多层次的特征，从而实现高保真度的测绘。该系统即使在嵌入式系统上也能以实时速度运行，并通过完全的C++和CUDA实现实现了最先进的性能。代码将公开提供。

扩散模型用于从复杂的数据分布中生成高质量的样本。鉴别性扩散模型旨在利用扩散模型的原理来进行分类或回归等任务，其中目标是预测给定输入数据的标签或输出。通过利用扩散模型的原理，鉴别性扩散模型具有处理不确定性、对噪声的稳健性和捕捉数据之间复杂依赖关系的潜力等优势。 生成模型可以通过量化新数据点与学习到的数据分布的偏差来识别异常或异常值。它们可以区分正常和异常数据实例，有助于异常检测任务。在传统上，这些生成和鉴别模型被视为相互竞争的选择。卡内基梅隆大学的研究人员在推理阶段将这两个模型耦合起来，以利用生成反演的迭代推理和鉴别模型的拟合能力的好处。 该团队构建了一种基于扩散的测试时间适应（TTA）模型，通过使用图像分类器、分割器和深度预测器的输出来调节图像扩散模型的条件并最大化图像扩散，从而使其适应各个未标记图像。他们的模型类似于编码器解码器架构。一个预训练的鉴别模型将图像编码为假设，如对象类别标签、分割地图或深度地图。这被用作预训练的生成模型的条件生成图像。 扩散-TTA能够有效地适应图像分类器在ImageNet及其变体等已建立基准上的内部和外部分布示例。他们使用图像重构损失对模型进行微调。通过将扩散似然梯度反向传播到鉴别模型权重，对测试集中的每个实例进行适应性处理。他们表明他们的模型优于以前的最先进TTA方法，并且在多个鉴别性和生成性扩散模型变体中都有效。 研究人员还对各种设计选择进行了剖析分析，并研究了扩散-TTA与扩散时间步长、每个时间步长样本数和批量大小等超参数的变化情况。他们还学习了适应不同模型参数的效果。 研究人员表示，扩散-TTA始终优于扩散分类器。他们猜测鉴别模型不会过度拟合生成损失，因为（预训练的）鉴别模型的权重初始化防止其收敛到这个平凡解决方案。 总之，以前已经使用生成模型对图像分类器和分割进行测试时间适应；通过在联合鉴别任务损失和自监督图像重构损失下共同训练扩散-TTA模型，用户可以获得高效的结果。

最近，在图像生成方面取得了重大进展，利用大规模扩散模型在配对的文本和图像数据上进行训练，加入多样化的条件方法以增强视觉控制。这些方法从明确的模型条件到修改预训练架构以适应新的模态。利用提取的图像特征如深度对文本条件的模型进行微调，可以实现图像重建。早些时候的研究人员引入了一种使用原始分辨率信息进行多分辨率和形状一致图像生成的GANs框架。 谷歌研究和特拉维夫大学的研究人员提出了一种AI框架（AnyLens），将文本到图像扩散模型与特殊的镜头几何结构相结合，用于图像渲染。这种整合使得对渲染几何的精确控制成为可能，通过一个单一的扩散模型可以生成鱼眼、全景视图和球面纹理等多样化的视觉效果。 该研究通过引入一种新的方法来解决将多样化光学控制融入文本到图像扩散模型的挑战。该方法使模型能够在局部镜头几何条件下进行条件附加，提高了模型复制精巧光学效果以生成逼真图像的能力。除了传统的画布变换外，该方法还允许通过逐像素坐标条件进行几乎任何栅格扭曲。这种创新支持各种应用，包括全景场景生成和球面纹理。它引入了一个度量张量条件的流形几何感知图像生成框架，扩大了对图像生成的控制和操作的可能性。 该研究通过逐像素坐标条件将文本到图像扩散模型与特定镜头几何相结合的框架。该方法通过使用随机变换场扭曲图像生成的数据对预训练潜扩散模型进行微调。采用了自注意力层的令牌重加权。该方法允许曲率特性的操作，产生鱼眼和全景视图等多样效果。它超越了固定分辨率的图像生成，采用度量张量条件以增强控制。该框架扩展了图像操作的可能性，解决了扩散模型中大型图像生成和自注意力尺度调整等挑战。 该框架成功地将文本到图像扩散模型与特定的镜头几何结合起来，以一个模型实现了鱼眼、全景视图和球面纹理等多样化的视觉效果。它可以精确控制曲率特性和渲染几何，生成逼真而细致的图像。该方法通过对大型文本注释数据集和逐像素变换场进行训练，生成任意变形的图像，并且结果与目标几何形状紧密对齐，无失真。它还便于创建具有逼真比例和最小伪影的球形全景图。 总之，新引入的框架在图像渲染中整合了各种镜头几何，提供了对曲率特性和视觉效果的增强控制。通过逐像素坐标和度量条件，该方法便于对渲染几何进行操纵，创造出具有精准曲率特性，引起几何操纵的高度逼真图像。该框架鼓励图像合成中的创造性和控制，使其成为生产高质量图像的有价值的工具。 未来的工作建议通过探索先进的条件技术来克服该方法的局限性，从而增强多样化图像生成。研究人员提出扩展该方法以达到捕捉不同场景的专用镜头类似结果的可能性。提及使用更先进的条件技术的潜在用途，预计将实现改进的图像生成和增强的能力。

Google DeepMind的研究人员开发了SODA，这是一个解决将图像编码为高效潜在表示的人工智能模型。借助SODA，实现了图像和语义属性之间的无缝过渡，允许在不同图像类别之间进行插值和变形。 扩散模型已经在视觉合成方面取得了革命性的进展，在图像、视频、音频和文本合成、规划和药物发现等各种任务中表现出色。尽管先前的研究聚焦于扩散模型的生成能力，但这项研究探索了扩散模型的表征能力这一未加充分利用的领域。该研究全面评估了基于扩散的表征学习在各种数据集和任务上的效果，从图像中揭示出了它们的潜力。 该模型强调了合成在学习中的重要性，并突出了扩散模型的显著表征能力。SODA是一个自监督模型，通过信息瓶颈实现了解缠绕和信息丰富的表征。SODA在分类、重构和合成任务中展示了它的优势，包括高性能的少样本新视角生成和语义特质的可控性。 SODA模型利用信息瓶颈通过自监督扩散创建解缠绕的表征。该方法使用基于分布的预训练来改进表征学习，从而在分类和新视角合成任务中获得强大的性能。通过广泛评估包括ImageNet在内的多样数据集，验证了SODA的能力。 SODA在表示学习领域表现出杰出的结果，卓越地改进了分类、解缠度、重构和新视角合成等方面。与变分方法相比，它显著提高了解缠度度量。在ImageNet线性探测分类中，SODA超越了其他辨别模型，并展示了对数据增强的稳健性。SODA的多功能性体现在生成新视角和无缝属性转换方面。通过实证研究，SODA已经被证明是一种有效、强大和多功能的表征学习方法，该方法支持详细分析、评估指标和与其他模型的比较。 总之，SODA在表征学习方面表现出了出色的熟练度，为各种任务提供了强大的语义表征，包括分类、重构、编辑和合成。它利用信息瓶颈专注于关键的图像特性，并在解缠度度量方面超越了变分方法。SODA的多功能性体现在其生成新视角、转换语义属性和处理更丰富的条件信息（如相机视角）的能力。 作为未来的工作，深入探究SODA领域的价值在于对3D数据集的动态组合场景进行研究，并弥合新视角合成和自监督学习之间的差距。还需要进一步研究模型结构、实施和评估细节，例如扩散模型的基本知识、超参数、训练技术和采样方法。建议进行消融和变异研究，以更好地理解设计选择，并探索交叉注意力和层内调制等替代机制。这样可以提高诸如3D新视角合成、图像编辑、重构和表征学习等各种任务的性能。

自然图片的制作质量现在与专业摄影相当，这要归功于最近在质量上有显著改进的成果。这一进步归因于DALL·E3、SDXL和Imagen等创建技术。推动这些发展的关键要素包括使用强大的大规模语言模型（LLM）作为文本编码器，扩大训练数据集，增加模型复杂度，改进采样策略设计以及提高数据质量。研究团队认为，现在是时候专注于开发更专业的图片，特别是在品牌设计、市场营销和广告中具有关键作用的图形设计。 作为一个专业领域，图形设计利用视觉传达的力量向特定社会群体清晰传递信息。这是一个需要想象力、独创性和快速思维的领域。在图形设计中，通常使用数字或手动方法将文字和视觉元素结合起来，创造出视觉上引人注目的故事。其主要目标是组织数据，为概念提供意义，并为记录人类体验的对象提供表达和情感。在图形设计中，对字体、文字排列、装饰和图像的创造性运用常常可以通过独立的想法、感受和态度来实现，这是单纯使用文字无法表达的。制作出顶级设计需要高度的想象力、独创性和侧面思考。 根据现有研究，具有突破性的DALL·E3在生成高质量设计图片方面具有显著的技能，如图1所示，其设计图片具有引人注目的布局和图形。然而，这些图片也存在着缺陷。它们持续面临的问题包括渲染视觉文本出现错误，经常会漏掉或添加额外的字符（这也是的情况）。此外，由于这些生成的图片基本上无法编辑，修改它们需要复杂的过程，例如分割、擦除和修复填充。用户需要提供全面的文本提示，这是另一个重要的限制。为视觉设计生产创建良好的提示通常需要高水准的专业技能。 图1 使用设计意图说明了DALL·E3（增强版GPT-4）生成的设计图片。 如图2所示，与DALL·E3不同，他们的COLE系统只需基本的用户需求就能生成优质的图形设计图片。根据研究团队的说法，这三个限制严重影响了图形设计图片的质量。高质量、可扩展的视觉设计生成系统理想情况下应该提供一个灵活的编辑区域，为各种用途生成准确、高质量的排版信息，并要求用户付出较低的努力。用户可以根据需要使用人工的技能进一步提升结果。这一努力旨在建立一个稳定有效的自主文本到设计系统，能够根据用户意图提示生成优秀的图形设计图片。 图2： 上图是COLE系统生成的图片的视觉呈现。有趣的是，我们的系统只接收一个文字意图描述作为输入。其余的元素包括文本、设计图形和相关的排版属性（如字体类型、大小和位置）都由智能系统独立生成。 微软亚洲研究院和北京大学的研究团队提出了一种名为COLE的分层生成方法，以简化创建图形设计图像的复杂过程。该过程涉及几个专门的生成模型，每个模型旨在处理不同的子任务。 首先，重点是创造性设计和解释，主要是理解意图。通过使用尖端的LLM（语言-物理模型），即Llama2-13B，并利用近10万个策划意图的JSON配对数据集进行优化来实现这一目标。设计相关的重要信息，包括文本说明、物品标题和背景标题，都包含在JSON文件中。研究团队还提供了用于其他目的的可选参数，如对象位置。 其次，他们着重于视觉的布局和改善，其中包括两个子任务：视觉构件和排版特征的生成。创建各种视觉特征需要对专门的级联扩散模型进行微调，例如DeepFloyd/IF。这些模型的构建方式保证了组件之间的平滑过渡，例如分层对象图像和装饰背景。然后，研究团队使用使用LLaVA-1.5-13B构建的装帧大型多模态模型（LMM）预测排版的JSON文件。该预测使用来自设计LLM的JSON文件，来自扩散模型的投影背景图片以及来自级联扩散模型的期望对象图像。然后，可视化渲染器使用预测的JSON文件中找到的布局组装这些组件。 第三阶段，为了提高设计的整体质量，提供了质量保证和评论。反映LMM必须进行仔细调整，并且必须使用GPT-4V(ision)进行全面而多方面的质量检查。这一最后阶段可以根据需要微调JSON文件，包括更改文本框的大小和位置。最后，研究团队创建了一个名为DESIGNERINTENTION的系统，其中包含大约200个专业图形设计意图提示，涵盖了各种类别和约20个创意类别，以评估系统的能力。然后，他们将他们的方法与目前使用的最先进的图像生成系统进行了比较，在各个子任务上进行了详尽的消融实验，对他们系统生成的图形设计进行了彻底的分析，并就图形设计图像生成的局限性和潜在未来发展方向进行了讨论。