419 search results for "引导"

南开大学和字节跳动的研究人员提出了一个名为ChatAnything的新型框架，旨在以在线方式生成基于大型语言模型(LLM)的角色的人形化人物形象。目标是仅根据文本描述创建具有自定义视觉外观、个性和语调的人物形象。研究人员利用LLM的上下文学习能力使用精心设计的系统提示生成个性。他们提出了两个创新概念：声音的混合 (MoV) 和扩散物质的混合 (MoD)，用于多样化的语音和外观生成。 MoV使用预定义音调的文本到语音(TTS)算法，根据用户提供的文本描述选择最匹配的音调。MoD结合了文本到图像生成技术和说话头算法，简化了生成说话对象的过程。然而，研究人员观察到当前模型生成的拟人化对象常常被预训练的面部标志检测器无法检测到，导致面部动作生成失败。为了解决这个问题，他们在图像生成过程中引入像素级引导，以注入人脸标志。这个像素级注入显著提高了面部标志检测率，实现了基于生成的语音内容的自动面部动画。 本论文讨论了大型语言模型(LLMs)及其上下文学习能力的最新进展，将其定位于学术讨论的前沿。研究人员强调了需要一个框架来生成具有自定义个性、声音和视觉外观的LLM增强人物形象。对于个性生成，他们利用LLM的上下文学习能力，使用文本到语音(TTS) API创建了声音模块池。声音的混合模块(MoV)根据用户文本输入选择音调。 使用最新的说话头算法解决了由语音驱动的说话动作和表情的视觉外观问题。然而，研究人员在使用扩散模型生成的图像作为说话头模型的输入时遇到了挑战。只有30%的图像能够被最先进的说话头模型检测到，表明分布不对齐。为了弥合这一差距，研究人员提出了一种零样本方法，在图像生成阶段注入面部标志。 提出的ChatAnything框架由四个主要模块组成：基于LLM的控制模块、人像初始化器、文本到语音模块的混合以及动作生成模块。研究人员结合了扩散模型、声音变换器和结构控制，创建了一个模块化和灵活的系统。为了验证引导扩散的有效性，研究人员创建了一个带有不同类别提示的验证数据集。他们使用预训练的面部关键点检测器评估面部标志检测率，展示了他们提出方法的影响。 研究人员介绍了一个全面的框架ChatAnything，用于生成具有拟人特征的LLM增强人物形象。他们解决了面部标志检测方面的挑战，并提出了创新的解决方案，在验证数据集中呈现了有希望的结果。这项工作为将生成模型与说话头算法整合以及提高数据分布对齐性的未来研究开辟了新的途径。

麻省理工学院（MIT）和人工智能和基本相互作用研究所（IAIFI）的一个研究团队引入了一个突破性的机器人操纵框架，解决了让机器人在不可预测和杂乱的环境中理解和操作物体的挑战。目前面临的问题是机器人需要对三维几何有详细的理解，而这常常在二维图像特征中缺乏。 目前，许多机器人任务需要同时具备空间和语义理解。例如，一个仓库机器人可能需要根据产品清单中的文字描述从杂乱的存储箱中拿起一个物品。这就需要机器人能够基于几何属性和语义属性稳定地抓取物体。 为了弥合二维图像特征和三维几何之间的差距，研究人员开发了一个名为机器人操纵特征场（F3RM）的框架。这种方法利用经过训练的视觉和视觉语言模型提取特征，并将其蒸馏成三维特征场。 F3RM框架包括三个主要组成部分：特征场蒸馏、使用特征场表示6自由度姿势和使用开放文本语言指导。蒸馏特征场 (DFFs) 扩展了神经辐射场 (NeRF) 的概念，其中包括一个额外的输出来从视觉模型中重建密集2D特征，这使得模型能够将一个3D位置映射到一个特征向量，结合了空间和语义信息。 对于姿势表示，研究人员使用夹爪坐标系中的一组查询点，这些点从3D高斯分布中采样得到。这些点被转换到世界坐标系中，特征根据局部几何进行加权。得到的特征向量被串联成姿势的表示。 该框架还包括能够结合自然语言命令进行对象操作的能力。机器人在测试过程中接收指定要操作的对象的自然语言查询。然后，它检索相关的演示，初始化粗略的抓取，根据提供的语言指导优化抓取姿势。 就结果而言，研究人员进行了关于抓取和放置任务以及语言引导操纵的实验。它可以理解物体之间的密度、颜色和距离。对杯子、马克杯、螺丝刀柄和蠕虫耳朵的实验显示了成功的运行。机器人可以推广到在形状、外观、材料和姿势上差异显著的物体。它还成功地回应了自由文本的自然语言命令，即使对于演示过程中未见过的新类别的物体。 总之，F3RM框架为机器人操纵系统的开放集合泛化挑战提供了一个有希望的解决方案。通过结合2D视觉先验和3D几何并融合自然语言指导，它为机器人在各种复杂和杂乱环境中处理复杂任务铺平了道路。虽然仍然有一些限制，如模拟每个场景所需的时间，但该框架在推进机器人和自动化领域方面具有重要潜力。