Tag: Large Language Model

ChatGPT正成为热门话题，每天有数百万人在使用。凭借其惊人的能力，如问答、生成独特而富有创意的内容、总结海量文本数据、代码补全以及开发非常有用的虚拟助手，ChatGPT使我们的生活更加便捷。ChatGPT由OpenAI开发，基于GPT 3.5（生成式预训练变换器）和GPT 4的变换器架构。GPT 4是由OpenAI发布的最新版本的语言模型，具有多模态性，即它以文本和图像的形式输入，与之前的版本不同。甚至其他大型语言模型（LLM），如PaLM、LLaMA和BERT，也被用于涉及医疗保健、电子商务、金融、教育等各个领域的应用中。 一组研究人员在最近发布的研究论文中强调了类似GPT这样的大型语言模型在复杂任务上表现出色而在简单任务上的困难。研究团队对三个代表性的组合任务进行了实验：多位数相乘、逻辑网格谜题和经典的动态规划问题。这些任务涉及将问题分解为较小的步骤，并将这些步骤组合起来产生准确的解决方案。 为了研究变换器在解决需要多步推理的组合任务方面的限制，作者提出了两个假设。第一个假设是变换器通过将多步推理线性化为路径匹配来完成任务，因此依赖于模式匹配和快捷学习，而不是真正理解和实现开发正确解决方案所需的底层计算规则。这种方法在训练期间可以快速准确地预测相似模式，但无法推广到不常见的复杂示例。第二个假设认为，在尝试解决具有独特模式的高复杂性组合任务时，变换器可能存在固有限制。早期的计算错误可能会传播并导致后续步骤中的严重错误，阻止模型获得正确解决方案。 为了研究这两个假设，作者将组合任务形式化为计算图，以便调查。这些图将解决问题的过程分解为更小、更易管理的子模块化功能步骤，从而实现问题复杂性的结构化度量，并将计算步骤的语言化作为语言模型的输入序列。他们甚至使用信息增益来预测模型可能基于底层任务分布而学习的模式，而无需在图中进行完整的计算。 基于实证结果，作者提出变换器通过将多步推理简化为线性子图匹配来处理组合挑战。他们提供了基于抽象多步推理问题的理论论证，强调随着任务复杂性的增加，变换器的性能迅速下降。这表明模型在处理极度复杂的组合问题方面可能已经受到限制。 总的来说，实证和理论结果表明，与对底层思维过程的深入理解相比，变换器的性能主要受到模式匹配和子图匹配的驱动，这也支持变换器在执行越来越困难的任务时可能遇到困难的观点。

大型语言模型（LLMs）近几个月来引起了大量关注。这些模型通过回答相关问题、生成精确内容、翻译语言、总结长文本段落以及完成代码示例等方式模仿人类。LLMs正在迅速发展，定期推出强大的模型，展示出在代码生成任务中出色的性能。研究人员已经探索了几种技术，包括有监督的微调、指导微调、强化学习等，以提高预训练代码LLMs生成代码的能力。 最近的一项研究中，来自华为云有限公司、中国科学院和北京大学的研究人员团队引入了一种名为RRTF（Rank Responses to align Test&Teacher Feedback）的独特框架，成功而高效地增强了预训练大型语言模型的代码生成能力。RRTF框架旨在提高代码LLMs在代码生成活动中的性能，它使用自然语言LLM对齐技术和评级反馈而不是绝对奖励值。 从人类反馈中进行强化学习的方法，例如使用排名响应作为反馈而不是绝对奖励值的InstructGPT或ChatGPT等模型，为这种新颖方法提供了灵感，该方法将自然语言LLM对齐技术应用于代码LLMs。通过应用RRTF框架，该团队还引入了PanGu-Coder2模型，在OpenAI HumanEval基准测试中，该模型以出色的62.20%的一等通过率位居第一位。 通过在StarCoder 15B上使用该方法，该团队超越了PanGu-Coder并取得了所有记录的代码LLMs中最佳性能，证明了RRTF的实用性。对HumanEval、CoderEval和LeetCode三个基准的全面分析表明，代码LLMs在代码创作任务中可能能够超越相同或更大规模的自然语言模型。该研究还强调了高质量数据在提高模型遵循指令和编写代码能力方面的价值。 该团队总结了以下贡献： 引入了RRTF优化模式，该模式具有许多优点，使其成为一个与模型无关、简单直观和高效的方法。 引入了PanGu-Coder2模型，PanGu-Coder2的性能大幅超越原始模型约30%。HumanEval、CoderEval和LeetCode是一些展示这一显著速度提升的基准。 PanGu-Coder2在代码生成方面超越了所有先前发布的代码LLMs，取得了新的最先进成就。 该团队讨论了他们在构建用于代码生成的良好训练数据方面的想法和实践知识。 使用RRTF框架训练了PanGu-Coder2模型，并提供了有关该过程的有益见解。 除了提高代码生成效率，该团队还提出了PanGu-Coder2使用的优化方法，以保证快速推理。这一领域的发现有助于创建现实部署方案，因为高效的推理对于实际应用至关重要。

每一天都带来了大型语言模型（LLMs）的显著进展，这些模型在文本生成、情感分类、文本分类和零样本分类等各种任务中表现出色。它们的能力超越了这些领域，使内容创作、客户服务和数据分析实现自动化，从而彻底改变了生产力和效率。 最近，研究人员还开始探索使用LLMs进行推理的用途和效用。这些模型可以理解复杂的文本信息，并从中进行逻辑推理。LLMs擅长于问题回答、问题解决和决策制定等任务。然而，LLMs仍然不能像人类一样解决对人类来说很容易的问题，比如在给定环境中生成执行任务的行动计划，或者进行复杂的数学、逻辑和常识推理。LLMs在某些任务上面临困难，因为它们没有像人类那样的内部世界模型。这意味着它们无法预测在特定情况下事物的发展情况，或者模拟行动的长期结果。人类拥有内部世界模型，即对环境的心理表示，使得人类能够模拟行动及其对世界状态的影响，从而在复杂任务中进行有意识的计划。 为了解决这些问题，研究人员设计了一种新的推理框架，即基于规划的推理（RAP）。该框架使用一个库，使LLMs能够使用先进的推理算法进行复杂的推理。该框架将多步推理方法视为规划，并搜索最优推理链，以实现“世界模型”和“奖励”之间的最佳探索与开发平衡。除了RAP论文外，研究团队还提出了LLM推理器。LLM推理器是一个专门为语言模型（LLMs）设计的AI库，通过使用先进的算法，使其具备进行复杂推理的能力。它将多步推理视为规划，搜索最有效的推理链，并使用“世界模型”和“奖励”的概念优化探索和开发之间的平衡。你只需要定义一个奖励函数和（可选地）一个世界模型。LLM推理器负责处理其余的事情，包括推理算法、可视化、LLM调用等等！ 世界模型将部分解决方案视为状态，并将新的行动/思考附加到状态作为状态转换。奖励函数在评估推理步骤的表现好坏方面起着关键作用。其思想是，具有更高累积奖励的推理链更有可能是正确的。 研究人员对该框架进行了广泛的研究。他们将RAP应用于数学推理和逻辑推理等几个具有挑战性的推理问题。这些任务的实际结果表明，RAP优于几种强基准方法。当应用于LLaMA33B时，RAP超越了GPT-4上的CoT，在计划生成方面实现了惊人的33%相对改进。 在推理过程中，LLM通过不断评估最佳推理步骤（行动）巧妙地构建推理树。为此，它使用其世界模型，这与以不同方式使用的相同LLM相同。通过模拟未来结果，LLM估计潜在奖励，并使用此信息更新其对当前推理步骤的信念。通过探索更好的替代方案和改进决策，它改进了推理过程。该框架提供了先进的推理算法，提供直观的可视化和解释，并与任何其他LLM库兼容。 研究人员强调，在对各种具有挑战性的推理问题进行广泛实验后，RAP优于几种基于CoT的当代推理方法。该框架甚至在某些情况下表现优于先进的GPT-4。RAP在设计奖励、状态和行动方面的灵活性展示了其作为灵活的框架处理各种推理任务的潜力。RAP将规划和推理以创新的方式结合在一起，这种方法有可能彻底改变我们对LLM推理的理解方式，为AI系统实现人类级别的战略思考和规划铺平道路。

人类输入是改善社交对话模型的关键策略。在带有人类反馈的强化学习中，当需要许多人类注释来保证令人满意的奖励函数时，学习从反馈中取得了巨大的改进。反馈的来源包括用户对对话转折或对话情节的数字分数、排名或自然语言评论，以及对机器人转折的二元评估。大多数工作有意利用众包工人收集这些信号，因为自然用户可能不愿意被打扰或者如果他们这样做可能提供不准确的信息。 在这项研究中，来自纽约大学和Meta AI的研究人员考虑到他们有很多部署时的对话情节，这些情节展示了模型与真实用户之间的真实讨论。他们试图确定是否可以从这些自然用户讨论中获取任何隐含的指示，并利用这些信号来增强对话模型。这样做有两个原因。首先，尽管他们可能不提供明确的注释，但自然用户最接近未来部署的数据分布。其次，使用先前对话情节中的隐含信号可以节省用于众包的金钱。 图1：方法的总体概述。从人类和机器人之间的对话中获取隐含信号，例如下一个人类转折是否会很长或很短、快乐或不快乐。 更准确地说，他们研究了是否可以调整聊天机器人以使用最佳的隐含反馈信号，如即将到来的人类答案的数量、长度、情感或响应性。他们使用来自BlenderBot在线部署的公开可用的去标识化数据来研究这个问题。使用这些数据，他们训练样本和重新排序模型，比较各种隐含反馈信号。通过自动化和人工判断，他们发现他们的新模型优于基线回复。此外，他们还询问是否支持这些措施会导致不良行为，因为他们的隐含反馈信号是两个生成质量的粗略代理指标。 是的，这取决于使用的信号。特别是，优化更长的讨论长度可能导致模型提出有争议的观点或以敌对或争斗的方式回复。另一方面，优化积极的回应或情绪相对于基线减少了这些行为。他们得出结论，来自人类的隐含反馈是一种有益的训练信号，可以提高整体性能，但所采用的具体动作具有重要的行为影响。

自然语言处理在最近几年取得了显著进展，特别是创建了复杂的语言模型。几乎所有的自然语言任务，包括翻译和推理，在像GPT 3.5、GPT 4、BERT、PaLM等著名模型的性能方面都取得了显著进步。一些基准用于评估和评估人工智能领域中这些发展。基准基本上是一组标准化任务的集合，用于测试语言模型的能力。 考虑到GLUE和SuperGLUE基准，它们是最早的几个语言理解基准，像BERT和GPT-2这样的模型更具挑战性，因为语言模型一直在击败这些基准，引发了模型开发和基准难度之间的竞争。通过使模型变得更大并在更大的数据集上进行训练，可以提高性能。LLMs在各种基准测试中展示了出色的表现，评估了它们的知识和数量推理能力，但是当这些模型在当前标准上得分更高时，很明显这些基准已不再适用于评估模型的能力。 为了解决这些限制，一组研究人员提出了一个新的独特基准，称为ARB（高级推理基准）。ARB旨在传达各种学科领域（如数学、物理、生物学、化学和法律）中更困难的问题。与早期的基准相比，ARB侧重于复杂的推理问题，以提高LLM的性能。该团队还引入了一组数学和物理问题，作为ARB的子集，需要复杂的符号思维和深入的学科知识。这些问题非常困难，超出了当前LLMs的范围。 该团队对ARB基准进行了评估，包括GPT-4和Claude。这些模型在处理这些困难的复杂性方面遇到了困难，这些发现表明它们在ARB中更困难的任务上的表现得分明显低于50%。该团队还演示了一种基于评分表的评估方法，以改进评估过程。通过使用这种策略，GPT-4可以评估自己的中间推理过程，试图解决ARB问题。这扩大了审查过程的范围，并揭示了模型的问题解决策略。 ARB的符号子集也经过了人工审查。人工注释员被要求解决问题并提供自己的评估。人类评估者和GPT-4的基于评分表的评估分数之间存在有希望的一致性，表明模型的自我评估与人类判断相当一致。在需要专业推理的数量领域中，新数据集明显优于以前的基准，其中有数百个问题。 与过去基准中的多项选择题不同，大部分问题由简答和开放式回答组成，这使得LLMs更难进行评估。通过专家级推理任务和更现实的问题格式的结合，可以更准确地评估模型处理复杂的现实问题的能力。

GPT-4是生成式人工智能（AI）技术的一个例子，它将自然语言处理中的多个任务结合成一个单一的序列生成问题。这种统一的架构具有卓越的效率和交互性，使用户能够使用自然语言界面执行各种活动（包括代码生成、数学问题解决和科学出版物的创建）。然而，这种生成式范式也带来了一些特定的困难。由于大型语言模型（LLMs）的限制，自动生成的文本经常显示错误或偏离事实。 LLMs往往会创建出令人信服的信息，但可能需要在事实上更准确或精确。这种限制限制了生成式AI在医疗、金融和法律等高风险行业的使用。因此，必须通过系统地识别这些错误来改进所创建材料的实用性和可靠性。例如，用于质量保证的检索增强验证模型、用于文本摘要的幻觉检测模型以及用于代码的执行评估模型等都是当前文献中关注的检测和减轻机器学习模型产生的事实错误的单一特定任务的例子。 鉴于LLMs处理的活动和领域的非凡灵活性，这些方法已经在各自的领域取得了成功。然而，拥有一个更全面的事实性检测和验证框架同样重要。此外，事实性检测的问题在当前文献中通常被概括为：（i）在给定一个主张的情况下评估一个主张是否事实准确，或者（ii）检测生成的主张是否得到给定证据的支持。 在用户与生成模型（如ChatGPT）进行交互时，他们经常需要评估长篇生成的事实准确性，而不是明确的主张和证据，因此需要更好地匹配这个任务定义。在这项研究中，来自上海交通大学、卡内基梅隆大学、香港城市大学、纽约大学、Meta AI、香港科技大学和上海人工智能实验室的研究人员提供了FACTOOL，这是一个任务和领域无关的框架，用于查找LLM生成的文档中的事实错误。在图1中，他们将“工具使用”和“事实性检测”的概念联系起来，并解释了他们的方法。 图1：带有工具增强的事实性检测框架。 为了获得所创建信息的事实性证据，FACTOOL专门使用多种资源，如Google搜索、Google学术、代码解释器、Python甚至LLMs。此外，他们的方法利用LLMs的批判性思维能力，根据可用数据评估内容的事实性。他们创建了一个基准，并对四个任务进行了实验： 基于知识的质量保证 代码生成 解决数学问题 撰写科学文献综述 他们解决了事实性识别的工作，并扩展了它以实现对最新生成式AI模型的更全面审计。根据他们对使用FACTOOL的现代聊天机器人的事实性分析，GPT-4在几乎所有情况下都具有最高的事实性。基于知识的质量保证测试显示，经过精心调整的聊天机器人（Vicuna-13B）具有可观的事实性。然而，它们在撰写科学文献综述和解答算术问题等更困难的任务上还存在困难。

通过利用大型语言模型（LLM）的HTML理解和多步推理能力，可以解决一些自然语言任务，包括算术、常识、逻辑推理、问答任务、文本生成，甚至是交互式决策任务。在自主网页导航方面，LLM最近在满足给定的自然语言指令时通过一系列计算机动作控制计算机或浏览互联网展现出了出色的成功。然而，预先定义的动作空间的缺失、与模拟器相比更长的HTML观察以及LLM缺乏HTML领域知识都对实际网站上的网页导航产生了负面影响（图1）。 图1：实际网页导航的困难。现代语言模型代理可以探索虚拟网站，在那里他们控制预定义的操作并接收经过简化且易于理解的HTML文本。然而，在导航实际网站时，代理必须处理开放性任务和包含多个与任务无关的组件的较长HTML文本，因此语言模型代理仍然面临困难。 由于指令的复杂性和开放性的实际网站，预先选择正确的动作空间并不容易。尽管有各种研究表明指令微调或从人类输入中进行强化学习可以提高HTML理解和在线导航的准确性，但目前的LLM只有在处理HTML文本方面偶尔具有最佳性能设计。大多数LLM都优先考虑广泛的任务泛化和模型大小可扩展性，通过优先选择较短的上下文持续时间而不是真实网页中的典型HTML令牌，并且不采用过去用于结构化文档的方法，包括文本-XPath对齐和文本-HTML令牌分离。 即使对这样的长文本应用令牌级别的对齐，成本也相对较低。通过在程序空间中对规范的Web操作进行分组，他们提供了WebAgent，这是一个由LLM驱动的自主代理，可以在实际网站上执行导航任务并遵循人类命令。通过将自然语言指令分解为更小的步骤，WebAgent实现了以下功能： 为每个步骤规划子指令。 基于子指令将较长的HTML页面压缩为与任务相关的片段。 在实际网站上执行子指令和HTML片段。 在这项研究中，来自Google DeepMind和东京大学的研究人员结合了两个LLM，创建了WebAgent：最近创建的HTML-T5是一个专业领域的预训练语言模型，用于工作规划和条件HTML摘要生成。Flan-U-PaLM用于基于代码的生成。通过在编码器中包含本地和全局注意力方法，HTML-T5专门用于更好地捕获较长HTML页面的结构语法和语义。它是自我监督的，使用CommonCrawl1创建的大型HTML语料库进行预训练，并结合了长跨度去噪目标。现有的LLM驱动代理通常使用单个LLM完成决策任务，并为每个任务提示各种示例。然而，对于现实世界的任务来说，这是不够的，因为其复杂性超过了模拟器的复杂性。 通过全面的评估，他们的集成策略与插件语言模型相结合，可以提高HTML理解和连接性，并提供更好的泛化能力。全面的研究表明，将任务规划与HTML摘要结合在专门的语言模型中对于任务性能至关重要，可以使实际在线导航的成功率提高50%以上。与声音基准相比，WebAgent在静态网站理解任务中的问答准确性表现优异，并且具有可比较的性能。此外，HTML-T5还作为WebAgent的关键插件，可以独立地在基于Web的任务上产生尖端结果。在MiniWoB++测试中，HTML-T5比天真的局部-全局注意模型及其指令微调变体表现更好，比以前最佳技术提高了14.9%的成功率。 他们主要做出了以下贡献： • 他们提供了WebAgent，该代理结合了两个LLM，用于实际的网络导航。通用语言模型生成可执行程序，而领域专家语言模型处理规划和HTML摘要。 • 通过采用局部-全局注意力和在大规模HTML语料库上进行长跨度去噪预训练的组合，他们提供了HTML-T5，一种新的HTML特定语言模型。 • 在真实的网站中，HTML-T5的成功率显著提高了50%以上，在MiniWoB++中，它超过了之前的LLM代理14.9%。

最近，AI研究实验室的科学家们发布了GOAT-7B-Community模型，该模型通过使用GoatChat应用的数据对LLaMA-2 7B模型进行了改进。Meta的LLaMA v2 7B经过微调，成为了最先进的GOAT-7B-Community模型，利用了从GoatChat应用获得的新颖、细粒度的数据集。 “对齐”在创建大型语言模型（LLM）中至关重要。这是一种模型可以拒绝回答其认为不道德或非法的问题的思想，基于其教育和经验。对齐对于道德AI实施至关重要，但也给模型优化带来了新的障碍。 研究人员注意到，通过对齐生成的回答很少提供客户所需的精确细节。这些反应通常更为温和，表明不愿意详细阐述。解决这个问题是至关重要的，如果要构建一个可靠的模型，为问题提供深入和完整的回答。他们发现，对齐过滤器并不能消除所有不当建议。因此，对齐通常会导致丢弃大量的数据集。这相当于案例中总信息的三分之一左右。 鉴于这个问题，研究人员开发了一种新的清理数据集的技术。此外，他们进行了一项受管制的实验，以全面了解对齐回复对模型性能的影响。 科学家们是如何受教的 配备八个A100 NVIDIA GPU的高性能节点为深度学习计算提供了支持。研究人员选择了bfloat16浮点格式和DeepSpeed ZeRO-3优化作为训练过程的基础。他们对模型进行了三次迭代，每隔一个时期保存一次进展。然而，经验证据显示，执行一个时期后，质量开始下降。这促使他们重新思考他们的策略，并选择进行一次训练时期并进行一次中途检查。常用的评估语言模型的标准，如MMLU和BigBench Hard，用于评估GOAT-7B-Community模型。团队目前正在分析所有模型，并将很快发布他们的研究结果。 用途 大语言模型和聊天机器人的研究是GOAT-7B-Community的主要关注点。自然语言处理、机器学习和人工智能的学者和爱好者将发现它特别有用。 限制 尽管具有令人印象深刻的推理能力，该模型仍然存在与其相对较小的规模（7B模型被认为是“小型”LLM）相关的问题。其中最明显的问题是“幻觉”。这些“幻觉”是一个不断阻碍解决的障碍，随着LLM的改进和扩展。 “幻觉”是人工智能研究中非常强调的一个持久性问题。最终目标是开发出能够产生逻辑上正确、符合语法的答案，并忠实于所提供事实的模型。 风险和偏见 由于GOAT-7B-Community模型使用了公共和专有数据进行训练，因此该模型的可靠性不高，可能会返回与现实相悖的结果。因此，GOAT-7B-Community模型可能产生不准确、有偏见甚至令人反感的结果。 主要观察 没有比这更好的免费7B模型。 良好的MMLU结果的关键是多样化和高质量的数据集。 与当前的13B模型相比，7B的表现令人钦佩。 然而，尺寸限制仍然存在。…

在过去几年中，我们见证了大规模语言模型（LLM）（如GPT4）的崛起，这些模型在包括沟通和常识推理在内的各种任务上表现出色。最近的研究关注如何将图片和视频与LLM对齐，以创建一种新型的多模态LLM（如Flamingo和BLIP-2），能够理解和理解二维视觉。然而，尽管这些模型在沟通和决策方面非常有效，但它们并不基于真实的三维物理世界中的更深层次概念，包括空间连接、可行性、物理和交互等。因此，与科幻电影中展示的能够理解三维情境并基于这些理解进行推理和规划的机器人助手相比，这种LLM是微不足道的。为了做到这一点，他们建议将三维世界纳入大规模语言模型，并引入一类全新的三维LLM，可以使用三维表示（即带有相关属性的三维点云）作为输入来处理各种三维相关任务。 图 1 当LLM使用三维情景表示作为输入时，它们从两个方面获益：(1) 它们可以将完整场景的长期记忆存储在整体的三维表示中，而不是片段性的部分观察。(2) 从三维表示中推理可以推断出三维特征，如可行性和空间链接，远远超出基于语言或二维图像的LLM的能力。数据收集是训练提出的三维LLM的一个重要障碍。缺乏三维数据使得基于三维数据创建基础模型变得困难，而互联网上的二维图像和文本数据却非常丰富。更难获取的是与口头描述相结合的三维数据。 他们提出了一系列独特的数据生成过程，以提供大量与语言相关的三维数据来解决这个问题。他们为三维数据和语言之间的交流提供了三个有效的提示过程，特别是使用ChatGPT。如图1所示，他们可以通过这种方式获取30万条三维语言数据，其中包括各种任务的信息，例如三维字幕、密集字幕、三维问题回答、三维任务分解、三维基础、三维辅助对话、导航等。下一个困难是找到与语言特征相匹配的有用的三维属性，用于三维LLM。一种方法是使用类似于CLIP的对比学习范式从头开始训练三维编码器，对齐语言和二维图片。然而，这种方法使用了大量的数据、时间和GPU资源。从不同的角度来看，最近的一些努力（如想法融合和3D-CLR）从二维多视图照片构建三维特征。他们还使用了一个三维特征提取器，根据这个提取器使用二维预训练特征的渲染多视图图片创建三维特征。 近期许多视觉语言模型（如BLIP-2和Flamingo）开始使用二维预训练的CLIP特征来训练它们的VLMs。由于它们映射到与二维预训练特征相同的特征空间，它们可以轻松地将二维VLMs作为骨干，并输入提取的三维特征以有效地训练三维LLM。三维LLM被预期具有潜在的三维空间信息感，这使它们在几个重要方面与传统的LLM和二维VLM不同。因此，来自加州大学洛杉矶分校、上海交通大学、华南理工大学、伊利诺伊大学厄巴纳-香槟分校、麻省理工学院、马萨诸塞大学阿默斯特分校和麻省理工-IBM沃森人工智能实验室的研究人员创建了一个将语言与地理位置连接起来的三维定位系统。他们将三维位置嵌入到检索到的三维特征中，更有效地编码空间信息。此外，他们向三维LLM添加了几个位置标记。然后，可以根据景物的语言描述生成位置标记来训练定位。这将使三维LLM能够更有效地记录三维空间数据。 总之，他们的论文提出了以下贡献： • 他们提出了一种新的基于3D的大型语言模型（3D-LLMs），可以使用来自带有特征和语言提示的3D点的输入来处理一系列与3D相关的任务。他们集中研究传统的或2D-LLMs无法涵盖的活动，例如对整个场景的认知、3D空间连接、适应性和3D规划等。 • 他们创建了创新的数据收集管道，可以生成大量的3D语言数据。基于这些管道，他们收集了一个包含超过30万个3D语言数据点的数据集，涵盖了广泛的3D相关活动，例如3D grounding、密集字幕、3D问题回答、任务分解、3D辅助对话、导航等。 • 他们使用3D特征提取器，该提取器可以接收渲染的多视角图片并提取有用的3D特征。他们使用2D预训练的VLMs构建了他们的训练系统。为了让3D-LLMs更好地收集3D空间信息，他们添加了一种3D定位方法。 • 在实验中，ScanQA（一种保留评估数据集）的表现优于先进的基准模型。在ScanQA上，特别是3D LLMs在基准模型（例如BLEU-1时提高了9%）的基础上表现更好。他们的方法在使用保留数据集进行3D字幕、任务创建和3D辅助对话的测试中击败了2D VLMs。定性调查显示，他们的方法可以更详细地处理各种工作。 • 他们希望将他们的3D-LLMs、3D语言数据集以及数据集的语言对齐的3D特征提供给即将进行的研究。

在开放领域指令遵循数据上训练LLM的结果是惊人的。然而，手动开发这种类型的指令数据需要时间和精力。此外，人类可能需要帮助创建高度复杂的指令。最近，许多自然语言处理（NLP）社区的努力集中在教导大型语言模型更好地理解和遵循指令。最近的研究表明，LLM也可能从教学中受益。因此，这种数据现在常规用于在开放领域训练和微调LLM。 Evol-Instruct是一种革命性的方法，使用LLM创建不同复杂度的大量指令数据；这是由微软和北京大学的研究人员团队开发的。该团队的WizardLM模型生成的指令在人类评估中得分高于人类创建的指令数据集。 Evol-Instruct流程分为三个阶段： 指令的演化 基于新开发的教育的响应的演化 消除的演化 为了从简单的种子指令生成更复杂的指令，Evol-Instruct可以执行深度演化（涉及五种操作之一：添加约束、加深、具体化、增加推理步骤和复杂化输入）或广度演化（基于给定的指令创建新的指令）。最后一个阶段，消除演化，作为一个过滤器来消除不良指令。 研究人员使用Evol-Instruct生成不同复杂度的指令。然后，他们将所有生成的指令数据合并起来，通过实证研究来微调LLaMA LLM并开发他们的WizardLM模型。WizardLM与ChatGPT、Alpaca和Vicuna等行业标准工具进行了评估。 研究人员主要得出以下结论： Evol-Instruct的指令优于人类开发的ShareGPT。使用相同数量的Evol-Instruct数据（即70k）微调LLaMA 7B时，WizardLM的表现比Vicuna高出12.4%（41.3%对28.9%）。 在面临困难的测试指令时，标注者对WizardLM的结果比对ChatGPT的结果更满意。在测试集上，WizardLM相比ChatGPT输了12.8%，胜率为28.0%对40.8%。然而，在测试集的高难度部分（难度级别8）中，WizardLM相对于ChatGPT的胜率高出7.9个百分点，为42.9%对35.0%。这表明该技术极大地增强了大型语言模型处理复杂指令的能力。 研究的作者通过评估高复杂性组件的人类评估结果，显示WizardLM模型的输出优于OpenAI ChatGPT的输出。结果显示，使用AI演进的指令进行微调是增强大型语言模型的潜在途径，即使WizardLM在某些方面仍落后于ChatGPT。源代码和输出数据都可以在https://github.com/nlpxucan/WizardLM上查看。 研究人员使用以下三个LLM作为起点： OpenAI创建了AI聊天机器人ChatGPT，以使对话变得自然和有趣。它基于从互联网等大量文本数据训练的LLM，如GPT-3.5和GPT-4。在人类训练员的监督下，使用监督学习和强化学习方法对ChatGPT进行微调。 Alpaca是斯坦福大学的一个倡议，旨在创建和传播一种免费的、由社区驱动的遵循指令的范例。该模型使用通过查询OpenAI的text-davinci003模型创建的52K个遵循指令实例开发，并建立在LLaMA 7B上，这是一个经过训练的大型语言模型，使用了多个文本来源。 Vicuna是一个开源聊天机器人，可以为用户提供人性化和有趣的回复。它基于LLaMA 13B，使用了来自ShareGPT的70K个用户共享对话数据进行微调。 研究人员使用ChatGPT来评估每个指令的复杂性和困难度，从而使他们能够更深入地了解指令演化过程。根据LLaMA模型许可，研究人员以增量权重的形式发布[WizardLM]权重。可以通过将增量添加到初始LLaMA权重来获得WizardLM权重。 研究人员使用人工指导评估集将Wizard的输出与人类评估者生成的输出进行比较。在Wizard和控制组之间进行了盲目的成对比较。作者的评估数据收集涵盖了许多以用户为中心的任务，从复杂的代码生成和调试到数学推理，复杂格式的推理，学术写作和广泛的学科。 这些结果表明，Evol-Instruct的AI演化指令方法可以极大地提高LLM性能，并使模型具备处理具有挑战性和复杂指令的能力，例如涉及数学计算、程序开发和逻辑思考的指令。

近年来，基于Transformer的大型语言模型（LLMs）因其捕捉和存储事实知识的能力而变得非常流行。然而，这些模型在推理过程中如何提取事实关联的方式仍然相对未被充分探索。谷歌DeepMind、特拉维夫大学和谷歌研究的研究人员最近进行了一项研究，旨在研究Transformer-based LLMs存储和提取事实关联的内部机制。 该研究提出了一种信息流方法，以调查模型如何预测正确属性以及内部表示如何在层之间演化以生成输出。具体而言，研究人员关注了仅有解码器的LLMs，并确定了与关系和主题位置相关的关键计算点。他们通过使用“去除”策略，在特定层次阻止最后一个位置与其他位置进行关注，并观察推理过程中的影响。 为了进一步确定属性提取发生的位置，研究人员分析了在这些关键点和前面的表示构建过程中传播的信息。他们通过对词汇表、模型的多头自注意力（MHSA）和多层感知机（MLP）子层和投影进行额外干预来实现这一目标。 研究人员确定了一种基于主题丰富过程和属性提取操作的属性提取内部机制。具体而言，在模型的早期层中，关于主题的信息在最后一个主题令牌中得到丰富，而关系传递给最后一个令牌。最后，最后一个令牌使用关系通过注意力头参数从主题表示中提取相应的属性。 这些发现揭示了LLMs内部存储和提取事实关联的机制。研究人员认为，这些发现可能为知识定位和模型编辑开辟新的研究方向。例如，该研究的方法可以用于确定LLMs获取和存储有偏见信息的内部机制，并开发缓解此类偏见的方法。 总的来说，这项研究强调了研究Transformer-based LLMs存储和提取事实关联的内部机制的重要性。通过了解这些机制，研究人员可以开发更有效的方法来改善模型性能并减少偏见。此外，该研究的方法可以应用于自然语言处理的其他领域，如情感分析和语言翻译，以更好地了解这些模型的内部运作方式。

近年来，对话式人工智能取得了重大进展，使得机器和用户之间的交互更加类似于人类之间的交流。推动这一进展的关键组成部分之一是大规模且多样化的数据集，这些数据集为训练复杂的语言模型提供了基础。Salesforce AI和哥伦比亚大学的研究人员推出了DialogStudio，作为一项开创性的倡议，为研究提供了一个包含统一对话数据集的综合性收集平台，以及训练大型语言模型（LLM）的支持。 统一对话数据集的需求 开发高效且多功能的对话式人工智能系统需要访问覆盖各个领域和对话类型的多样化数据集。传统上，不同的研究小组贡献了旨在解决特定对话场景的数据集。然而，这种分散的方法导致了对数据集之间更多标准化和互操作性的需求，使得比较和集成变得更加困难。 DialogStudio通过汇总33个不同的数据集来填补这一空白，这些数据集代表了多个类别，如知识驱动对话、自然语言理解、开放领域对话、任务导向对话、对话摘要和对话推荐。统一过程保留了每个数据集的原始信息，同时促进了无缝集成和跨领域研究。 对话质量评估 为了确保数据集的质量和适用性，DialogStudio采用了一套全面的对话质量评估框架。根据六个关键标准（理解、相关性、正确性、连贯性、完整性和整体质量）评估对话，使得研究人员和开发人员能够有效衡量模型的性能。评分范围为1到5分，分数越高表示对话质量越好。 通过HuggingFace实现无缝访问 DialogStudio通过HuggingFace提供了方便访问其庞大的数据集收藏。研究人员可以通过声明与DialogStudio中的数据集文件夹名称相对应的数据集名称来快速加载任何数据集。这一简化流程加速了对话式人工智能模型的开发和评估，节省了宝贵的时间和精力。 模型版本和限制 DialogStudio提供了基于选定数据集训练的1.0版本模型。这些模型基于小规模预训练模型，并且不包括用于训练像Alpaca、ShareGPT、GPT4ALL、UltraChat等大规模数据集的模型，也不包括OASST1和WizardCoder等其他数据集。尽管在创造性能力方面存在一些限制，但这些模型为开发复杂模型提供了一个坚实的起点。 DialogStudio是发展对话式人工智能的一个重要里程碑，提供了一个统一且广泛的对话数据集收藏。通过将多样化的数据集集中在一个平台上，DialogStudio使得研究人员和开发人员能够探索对话式人工智能的新领域，为机器和用户之间更加复杂、类似于人类的交互铺平了道路。凭借其持续改进和社区参与的关注，DialogStudio注定将在未来多年中塑造对话式人工智能的未来。

人脑被视为神经网络理论的典范，同时处理来自各种感官输入的信息，如视觉、听觉和触觉信号。此外，从一个来源获得的理解可能有助于从另一个来源获得知识。然而，由于深度学习中的巨大模态间隙，构建一个能够处理各种输入形式的统一网络需要大量的工作。在一个数据模态上训练的模型必须根据每个数据模态的不同数据模式进行调整。与口头语言相比，照片由于图像中像素的紧密排列而具有显着的信息冗余。 相反，由于点云在三维空间中的稀疏分布和对噪声的敏感性增加，很难描述点云。音频频谱图是由不同频率域的波的组合组成的非平稳的时变数据模式。视频数据具有记录空间信息和时间动态的独特能力，因为它由一系列图片帧组成。图数据通过在图中将项目表示为节点和关系表示为边来建模实体之间复杂的多对多交互。由于不同数据模态之间存在显著差异，使用其他网络拓扑独立编码每个数据模态是常见做法。 例如，Point Transformer使用向量级位置注意力从3D坐标中提取结构信息，但它无法对图片、自然语言句子或音频频谱图片段进行编码。因此，创建一个可以使用多个模态共享的参数空间来编码不同数据类型的单一框架需要时间和精力。通过对成对数据进行广泛的多模态预训练，最近开发的统一框架如VLMO、OFA和BEiT-3提高了网络的多模态理解能力。然而，由于它们更注重视觉和语言，它们无法在模态之间共享整个编码器。深度学习在自然语言处理(NLP)领域取得了很大的成就，得益于转换器架构和注意机制等其他研究人员提出的模型。 这些发展极大地改善了各种模态的感知能力，包括2D视觉(包括ViT和Swin Transformer)、3D视觉(包括Point Transformer和Point-ViT)、听觉信号处理(AST)等。这些研究说明了基于转换器的设计的适应性，并激发了学术界调查是否可以创建用于组合多个模态的基础模型，最终实现跨所有模态的人类水平感知能力。图1说明了它们如何探索转换器设计处理包括图片、自然语言、点云、音频频谱图、视频、红外线、高光谱、X射线、IMU、表格、图形和时间序列数据在内的12种模态的潜力。 图1：统一多模态学习 – 自然语言、图片、点云、音频、视频、红外线、高光谱、X射线、时间序列、表格、惯性测量单元(IMU)和图形数据都由Meta-Transformer使用相同的骨干进行编码。它展示了转换器系统如何提供统一的多模态智能。 他们讨论了使用转换器学习每种模态的过程，并解决了将它们组合成一个统一框架的困难。因此，来自香港中文大学和上海人工智能实验室的研究人员提出了一个名为Meta-Transformer的全新综合多模态学习框架。首个框架Meta-Transformer使用相同的参数集同时对来自十几种不同模态的输入进行编码，实现了更加综合的多模态学习方法。Meta-Transformer包括数据到序列标记的模态专家、跨模态提取表示的模态共享编码器和面向下游任务的任务特定头部这三个简单但有价值的组件。更准确地说，Meta-Transformer首先从多模态数据中创建具有共享流形空间的标记序列。 之后，使用冻结参数的共享编码器提取表示。使用轻量级分词器和更新的下游任务头参数进一步定制个别任务。最后，这种简单直接的方法可以高效训练特定任务和通用模态的表示。他们使用来自12种模态的几个标准进行了大量研究。Meta-Transformer在处理来自多个模态的数据时表现出色，仅使用LAION-2B数据集中的图片进行预训练，并在各种多模态学习任务中持续优于最先进的技术。 总之，他们的贡献如下： • 他们提供了一个独特的框架，称为Meta-Transformer，用于多模态研究，使单个编码器能够同时使用相同的参数集从多个模态中提取表示。 • 他们在处理多个模态的多模态网络架构中，对Transformer的组件（如嵌入、分词和编码器）的作用进行了深入研究。 • 在各种关于12种模态的数据集上，实验结果表明Meta-Transformer取得了出色的性能，验证了Meta-Transformer在统一多模态学习方面的进一步潜力。 • Meta-Transformer开辟了一个有前景的新方向，即开发一个统一所有模态的模态无关框架。

中国搜索引擎搜狗的创始人王小川通过其公司百川智能发布了一款名为百川-13B的新型巨型语言模型。目前，该模型仅限程序员和研究人员进行商业使用。搜狗创始人王小川最近在微博上发布了一条消息称“中国需要自己的OpenAI”。这位中国商人在其初创公司百川智能发布了下一代大型语言模型百川-13B之后，离实现自己的愿景又近了一步。百川智能在三个月前推出，并迅速吸引了一批愿意投资5000万美元的投资者。由于创始人在计算机科学方面的非凡技能，他的组织现在被视为中国最有前途的巨型语言模型创造者之一。 百川-13B采用了与GPT和大部分国内中文变体相同的Transformer设计。除了在中文和英文数据上进行训练外，它的130亿个参数（用于文本生成和分析的变量）都是双语的。该模型是开源的，可以用于赢利，并且是使用GitHub上的数据构建的。 在百川-7B取得成功之后，百川智能科技推出了百川-13B，这是一个商业可用的开源大型语言模型，具有130亿个参数。在受人尊敬的中文和英文规范中，它胜过了同等规模的竞争对手。此次发布包括基准（百川-13B-Base）和对话（百川-13B-Chat）两个版本。 特点 百川-13B在百川-7B的基础上将参数数量增加到130亿，并在高质量语料库上训练了1.4万亿个标记，比LLaMA-13B多40%。在开源的13B规模下，它是训练数据最多的模型。它采用了ALiBi位置编码和4096字节的上下文窗口，并且可以同时处理中文和英文。 预训练模型用于开发者的基础版本，而具有对话功能的对齐模型更受常规用户的青睐。因此，这个开源版本中包括了具有强大对话功能、可直接使用并仅需几行代码即可部署的对齐模型（百川-13B-Chat）。 研究人员还提供了int8和int4量化版本，这些版本在推理方面更加高效，以鼓励广泛的用户使用。它们可以在像Nvidia 3090这样的消费级显卡上实现，但非量化版本需要更强大的硬件支持。 公众使用免费，无限制转售或修改：如果开发者通过邮件申请官方商业许可，他们可以免费使用百川-13B进行商业目的。 百川-13B使用了大约14亿个标记进行训练。据OpenAI称，ChatGPT-3据说是在3000亿个标记上进行训练的。百川团队在三个月内扩大了一倍，成员达到了50人，并在上个月公开展示了他们的模型百川-7B，该模型具有70亿个参数。两天前发布的百川-13B版本是最基本的版本。现在，已经获得合法授权的研究人员和程序员可以免费使用它进行商业用途。该模型是否会正式发布供广泛使用的未来尚待发现。 基础模型百川-13B现在对已获得必要法律许可的研究人员和程序员免费提供，并且可以在像Nvidia的3090显卡之类的消费级硬件上运行，这一点尤其值得注意，考虑到最近美国对中国人工智能芯片制造商的限制。 百川智能科技的研究人员确认，他们的团队尚未为任何平台（包括iOS、Android、Web等）创建基于百川-13B的应用程序。我们敦促用户不要将百川-13B模型用于非法或有害的目的，如危害国家或社会安全。同时，我们鼓励用户在没有必要的安全审计和备案的情况下不要将百川-13B模型用于互联网服务。我们指望每个人遵守这个规则，将技术进步限制在法律范围内。

人类在接触到仅仅几个实例后就能理解复杂的概念。大多数情况下，我们可以根据书面描述识别动物，并根据视觉猜测未知汽车引擎的声音。这部分是因为一张单独的图片可以“绑定”起本来不相干的感官体验。基于配对数据，标准的多模态学习在人工智能中存在一定的局限性，随着模态数量的增加。 将文本、音频等与图像对齐已成为最近几种方法的重点。这些策略最多只使用两种感官。然而，最终的嵌入只能表示训练的模态及其对应的配对。因此，无法直接将视频音频嵌入转换为图像文本活动，反之亦然。缺乏同时包含所有模态的大量多模态数据是学习真正联合嵌入的一大障碍。 新的元研究引入了IMAGEBIND，这是一个使用多种形式的图像对数据来学习单一共享表示空间的系统。不需要使用同时包含所有模态的数据集。相反，这项工作利用了图像的绑定属性，并展示了将每种模态的嵌入与图像嵌入对齐会导致所有模态的紧密对齐。 网络上大量的图像和相应的文本促使人们对训练图像文本模型进行了大量研究。ImageBind利用了图像经常与其他模态同时出现并可以作为它们之间的桥梁的事实，例如使用在线数据将文本与图像链接，或者使用从佩戴式相机和IMU传感器获得的视频数据将运动与视频链接。 跨模态学习的目标可以是从大量网络数据中学习到的视觉表示。这意味着ImageBind还可以对频繁与图像同时出现的任何其他模态进行对齐。对于与图片高度相关的热度和深度等模态，对齐更简单。 ImageBind通过仅使用成对图像就能整合所有六种模态。该模型能够让各种模态“交流”并发现彼此之间的联系，从而提供更全面的信息解释，即使不能直接观察到这些模态之间的关系。通过这样做，其他模型可以在不需要大量的时间和精力进行训练的情况下“理解”新的模态。ImageBind的强大的可扩展行为使得可以将该模型用于以前不能使用额外模态的许多AI模型的替代或补充。 通过将大规模的图像文本配对数据与自监督数据对四种新模态进行结合，即音频、深度、热度和惯性测量单元（IMU）读数，展示了IMAGEBIND在零样本分类和检索任务上的强大性能。团队表明，加强底层图像表示可以增强这些新出现的特征。 研究结果表明，IMAGEBIND在音频分类和检索基准（如ESC、Clotho和AudioCaps）上的零样本分类性能与通过直接音频-文本监督进行训练的专家模型持平或超过。在少样本评估基准上，IMAGEBIND表示还优于专家监督的模型。最后，他们展示了IMAGEBIND在各种组合任务中的灵活性，包括跨模态检索、嵌入的算术组合、图像中的音频源检测以及通过音频输入生成图像。 由于这些嵌入没有针对特定应用进行训练，所以其效率落后于特定领域的模型。团队认为，了解如何将通用嵌入定制为特定目标（如结构化预测任务，如检测）将非常有帮助。

最先进的大型语言模型（LLM），包括BERT、GPT-2、BART、T5、GPT-3和GPT-4，是由最近在机器学习领域，尤其是在自然语言处理（NLP）领域的进展所开发出来的。这些模型已经被有效地应用于各种任务，包括文本生成、机器翻译、情感分析和问答。它们学习上下文的能力，通常被称为上下文学习，是这些LLM的新兴行为之一。像GPT-3这样具有上下文学习能力的LLM，可以通过条件化输入输出样本和新鲜查询输入来完成任务，而无需优化任何模型参数。 多种语言任务的预训练可以与上下文学习和精心设计的提示结构相结合，使得LLM能够成功地推广到它们从未遇到过的活动中。尽管上下文学习在NLP领域已经得到了广泛的研究，但在计算机视觉领域中几乎没有应用。要将上下文学习作为一种用于伟大视觉应用的标准技术来展示其实用性和潜力存在两个重要困难：1）创建一个有效的视觉提示比创建语言任务的提示更困难，因为它需要领域特定的输入输出对作为示例和图片搜索作为标准。2）在计算机视觉中，通常会为专门的任务训练大型模型，包括文本到图像生成、类别条件生成、分割、检测和分类。 这些庞大的视觉模型必须更加灵活以适应新的任务，并不适用于上下文学习。最近的一些尝试通过使用NLP的答案来解决这些问题。具体地说，当将示例照片、查询图像和输出图像融合为一个庞大的整体时，训练基于Transformer的图像修复模型来预测被屏蔽的输出图像。然而，将大尺寸的图像拼接在一起会显著增加计算开销，尤其是在高分辨率的情况下。本研究通过解决这两个问题，来探讨基于文本引导的扩散生成模型的上下文学习潜力。 为了在能够处理各种视觉-语言活动的视觉-语言提示下执行上下文学习，微软和德克萨斯大学奥斯汀分校的研究人员提出了一种新颖的模型架构，称为Prompt Diffusion。Prompt Diffusion在六个单独的视觉-语言任务中并行进行。具体地，他们利用他们的视觉-语言提示来描述一个通用的视觉-语言任务。然后，他们根据Stable Diffusion和ControlNet的设计灵感构建了Prompt Diffusion，它可以使用他们的视觉-语言提示作为输入。他们将Prompt Diffusion视为实现文本引导的扩散模型具备上下文学习能力的第一步。然后，它可以利用这些知识通过将连接重新映射到查询图像并包含语言指令来创建输出图像。更重要的是，跨多个任务的学习赋予了模型上下文学习的能力。Prompt Diffusion可以成功地推广到尚未观察到的多个新功能上。除了在训练期间表现良好的六个任务上，它还在熟悉和新的未见任务上表现出色。 从经验上看，Prompt Diffusion在关于上下文学习的熟悉和新的未见任务上表现出色。预计Prompt Diffusion的有效性将激发并推动更多关于基于扩散的上下文视觉学习的研究。以下是他们的主要贡献的摘要： • 一种先进的视觉-语言提示设计，有效地实现了多种视觉-语言活动的融合。 • 使用Prompt Diffusion模型在学习和新的未见任务上进行高质量的上下文生成，这是第一个具备上下文学习能力的基于扩散的可适应视觉-语言基础模型。 • 在GitHub上可以找到Pytorch代码实现。

对象导航（ObjNav）指导一个物理代理前往一个预先确定的目标对象，而这个环境对于它来说是未知的。前往目标对象是代理与之交互的前提条件，因此对于其他基于导航的具身任务来说，这个活动至关重要。 识别环境中的房间和物体（语义场景理解）以及使用常识推理来推断目标物体的位置（常识推理）是成功导航所必需的两个关键技能。然而，现有的零样本对象导航方法经常缺乏常识推理能力，并且没有充分解决这个需求。现有的技术依赖于简单的探索启发式算法或者需要在其他目标导向的导航任务和环境中进行训练。 最近的研究表明，大规模预训练模型在零样本学习和问题解决方面表现出色。受到这些研究的启发，加州大学圣克鲁兹分校和三星研究提出了一种零样本对象导航框架，称为带有软常识约束的探索（ESC）。该框架使用预训练模型自动适应陌生的环境和物体种类。 团队首先使用GLIP，一种视觉和语言基础模型，用于推断当前代理视图的对象和房间信息，作为一种基于提示的开放世界对象定位和场景理解方法。由于GLIP在图像-文本对上进行了广泛的预训练，它可以在最小提示的情况下轻松推广到新的对象。然后，他们使用了一个预训练的常识推理语言模型，该模型使用房间和对象数据作为上下文来推断两者之间的关联。 然而，将从LLMs中推导出的常识知识转化为可操作的步骤仍存在一些空白。事物之间的联系在某种程度上存在一定的不确定性也是很常见的。通过使用概率软逻辑（PSL），一种声明性模板语言，该语言定义了遵守一阶逻辑原则的一部分马尔可夫随机场，ESC方法模拟了“软”常识限制来克服这些障碍。基于前沿的探索（FBE）是一种传统策略，它利用这些温和的常识限制来关注下一个要调查的前沿。虽然之前的方法依靠神经网络训练来隐式灌输常识，但是所提出的方法使用软逻辑谓词来在连续值空间中表达知识，并将其提供给每个前沿以促进更高效的探索。 为了测试系统的有效性，研究人员使用了三个目标导航基准（MP3D，HM3D和RoboTHOR），这些基准具有不同的家庭规模，建筑风格，纹理特征和物体类型。研究结果显示，该方法在MP3D上以SPL加权长度（SPL）和SR（成功率）约为CoW的285%和RoboTHOR的35%和SR（成功率）表现出色。该技术在MP3D上相对于ZSON实现了196%更好的SPL，相对于HM3D实现了85%更好的SPL，而ZSON需要在HM3D数据集上进行训练。在MP3D数据集上，所提出的零样本方法实现了与其他最先进的监督算法相比最高的SPL。

LLaMaTab – 一个具有洞察力的Chrome扩展 一个名为LLaMaTab New Tab的Chrome附加程序将在每次新建标签页时显示不同的羊驼图片。这是一个愚蠢的附加程序，但在事情变得困难时，它可以让人继续前行。如果你正在使用Chrome并希望为浏览体验注入个性和乐趣，LLaMaTab New Tab是一个绝佳的扩展。此外，它还是保持动力和完成任务的绝佳方法。如果你想让Chrome的体验更有趣，LLaMaTab New Tab扩展正是你所需要的。 LLaMaTab New Tab的优势 使用LLaMaTab New Tab扩展，将一些轻松的元素注入你的日常网络活动中。 你可以通过添加羊驼照片或从一个预先制作的图库中选择照片来自定义LLaMaTab New Tab。 LLaMaTab New Tab是一个轻量级的附加程序，不会影响浏览器的性能。 特点 由于附加程序的代码是公开的，可以轻松修改以提供新的功能。 该附加程序已经翻译成多种语言，让用户可以使用他们偏好的语言工作。…