四海吧 Posts

上海人工智能实验室、复旦大学、西北工业大学和香港科技大学的研究人员合作开发了一款名为GS-SLAM的基于3D高斯表示的同时定位与地图构建（SLAM）系统。该计划的目标是实现准确性和效率之间的平衡。GS-SLAM采用实时可微分的网格化渲染流程、自适应扩展策略和粗糙到精细的技术来改进姿态跟踪，从而减少运行时间和更稳健的估计。该系统在Replica和TUM-RGBD数据集上展示了竞争性的性能，优于其他实时方法。 该研究回顾了现有的实时稠密视觉SLAM系统，包括基于手工特征、深度学习嵌入和基于NeRF的方法。它强调了在引入GS-SLAM之前，相机姿态估计和使用3D高斯模型进行实时地图构建方面的研究缺失。GS-SLAM创新地将3D高斯表示纳入，采用实时可微分的网格化渲染流程和自适应扩展策略来实现高效的场景重建。与已有的实时SLAM方法相比，该方法在Replica和TUM-RGBD数据集上展示了竞争性的性能。 这项研究解决了传统SLAM方法在实现精细密集地图方面的挑战，并引入了GS-SLAM，一种新颖的RGB-D密集SLAM方法。GS-SLAM利用3D高斯场景表示和实时可微分的网格化渲染流程来增强速度和准确性之间的权衡。所提出的自适应扩展策略高效地重建新观察到的场景几何，而粗到精的技术改进了相机姿态估计。GS-SLAM展示了改进的跟踪、地图构建和渲染性能，为机器人、虚拟现实和增强现实应用的密集SLAM能力提供了重要的进展。 GS-SLAM采用3D高斯表示和实时可微分的网格化渲染流程用于地图构建和RGB-D重新渲染。它特点在于场景几何重建和地图增强的自适应扩展策略。相机跟踪利用粗到精的技术可靠地选择3D高斯表示，减少运行时间并确保鲁棒性估计。GS-SLAM在Replica和TUM-RGBD数据集上的竞争性性能优于NICE-SLAM、Vox-Fusion和iMAP。在各种指标上与CoSLAM的结果相当。GS-SLAM在构建的网格中显示出清晰的边界和细节，重建性能优秀。在跟踪方面，它优于Point-SLAM、NICE-SLAM、Vox-Fusion、ESLAM和CoSLAM。GS-SLAM适用于运行速度约为5 FPS的实时应用。 GS-SLAM的有效性取决于高质量深度信息的可用性，依靠深度传感器读数进行3D高斯初始化和更新。在大规模场景中，该方法的内存使用量较高，未来的工作计划旨在通过神经场景表示集成来缓解这一限制。虽然该研究承认了这些限制，但它需要对自适应扩展策略和粗到精相机跟踪技术的潜在限制有更多深入的洞察。需要进一步的分析来全面评估它们的控制权限。 总之，GS-SLAM是一个有希望的密集视觉SLAM解决方案，它在速度和准确性之间提供了平衡的组合。其自适应的3D高斯扩展策略和粗到精的相机跟踪实现了动态而详细的地图重建和鲁棒的相机姿态估计。尽管它依赖于高质量的深度信息并且在大规模场景中使用内存较多，但GS-SLAM展示了竞争性的性能和优越的渲染质量，尤其是在详细的边缘区域。进一步的改进计划将包括神经场景表示的整合。

“` 研究人员探索了使用由文本到图像模型生成的合成图像来学习视觉表示并为更高效和减少偏见的机器学习铺平道路的潜力。这项来自麻省理工学院研究人员的新研究专注于稳定扩散，并表明在生成模型被适当配置的情况下，仅训练合成图像上的自监督方法可以达到或甚至超过其真实图像对应物的性能。所提出的方法名为StableRep，通过将从同一文本提示生成的多个图像视为彼此的正例，引入了一种多正对比学习方法。StableRep仅在合成图像上进行训练，在大规模数据集上的性能超越了SimCLR和CLIP等现有最先进的方法，甚至在与语言监督相结合时，其准确度也超过了通过五千万真实图像训练的CLIP模型。 所提出的StableRep方法通过推进内部标题不变性引入了一种新颖的表示学习方法。通过将从同一文本提示生成的多个图像视为彼此的正例，StableRep采用了多正对比损失。结果显示，StableRep在ImageNet上取得了显着的线性准确性，超越了SimCLR和CLIP等其他自监督方法。该方法的成功归因于对合成数据取样的更大控制能力，利用了Stable扩散和文本提示等因素。此外，生成模型具有超越其训练数据进行泛化的潜力，相比仅使用真实数据，提供了更丰富的合成训练集。 总之，研究证明了在稳定扩散生成的合成图像上训练自监督方法的意外有效性。StableRep方法通过其多正对比学习方法，在表示学习方面展现出卓越的性能，相比使用真实图像的现有最先进方法。该研究为通过文本到图像生成模型简化数据收集提供了可能性，为获取大规模且多样化的数据集提供了经济有效的替代方案。然而，必须解决合成数据的语义不匹配和偏见等挑战，并考虑使用非筛选网络数据进行生成模型训练的潜在影响。 “`

具备处理多个任务或领域而无需重编程或重新训练的AI系统被称为通用代理。这些代理旨在在各个领域泛化知识和技能，展现在解决不同问题时的灵活性和适应性。用于培训或研究目的的模拟通常涉及3D环境。这些模拟中的通用代理能够适应不同场景，并能够从经验中学习，在虚拟空间中执行任务。例如，在飞行员或外科医生的训练模拟中，这些代理可以复制各种场景并作出相应的反应。 通用代理在三维世界中面临的挑战在于处理复杂的三维空间，学习能够在不同环境中泛化的健壮表示，并在考虑到环境的多维性的情况下进行决策。这些代理通常使用强化学习、计算机视觉和空间推理等技术来在这些环境中有效地导航和交互。 中国北京普里什卡大学、泡菜大学和清华大学的研究人员提出了一个名为LEO的通用代理，该代理经过LLM-based架构进行训练。LEO是一个通用性的代理，具有多模态和多任务能力。LEO通过共享的模型架构和权重来感知、基于事实进行推理、规划和行动。LEO通过基于自我为中心的2D图像编码器和基于对象为中心的3D点云编码器来感知事物的体验和第三人称全局视角。 LEO还可以通过自回归训练目标利用任务无关的输入和输出进行训练。3D编码器为每个观测到的实体生成一个基于对象的令牌。这种编码器设计可以灵活地适应具有不同体现的任务。LEO基于3D视觉语言对齐和3D视觉语言行为的基本原理。为了获取训练数据，研究团队策划和生成了一个包含对象级和场景级多模态任务的大规模复杂数据集，需要对3D世界进行深入理解和交互。 研究团队还提出了基于场景图的提示和细化方法，以及基于对象为中心的思维链（O-CoT），以提高生成数据的质量，大大丰富数据规模和多样性，并进一步消除LLM的幻觉。研究团队对LEO进行了广泛的评估，并展示了其在多个任务中的熟练程度，包括体验式导航和机器人操作。他们还观察到，仅仅扩大训练数据规模就能稳定提升性能。 结果显示LEO的反应融合了丰富、信息量大的空间关系，并且准确地与3D场景相呼应。他们发现LEO包含的具体对象实际上出现在场景中，并对这些对象有具体的行动。LEO能够架起3D视觉语言和实体移动之间的桥梁，研究团队的结果显示了联合学习的可行性。