Tag: Tech News

大型语言模型（LLMs）已经出现和发展，为人工智能领域增加了一种新的复杂性。通过密集的训练方法，这些模型已经掌握了一些惊人的自然语言处理、自然语言理解和自然语言生成任务，例如回答问题、理解自然语言推理和总结材料。它们还完成了与NLP不常见相关的活动，例如理解人类意图和执行指令。 像AutoGPT、BabyAGI和AgentGPT这样的应用程序利用LLMs实现了自主目标，这些应用程序的实现得益于所有NLP的进步。尽管这些方法引起了公众的浓厚兴趣，但评估LLMs作为代理的标准基线的缺失仍然是一个重大障碍。虽然过去已经使用基于文本的游戏环境来评估语言代理人，但由于其有限和离散的动作空间，它们经常存在一些缺点。此外，它们主要评估模型的常识基础能力。 大多数现有的代理人基准测试都专注于特定的环境，这限制了它们在各种应用场景中对LLMs进行全面评估的能力。为了解决这些问题，清华大学、俄亥俄州立大学和加州大学伯克利分校的研究人员提出了AgentBench，这是一个多维基准测试，旨在评估LLMs作为代理的能力在各种环境中。 AgentBench包含了八个不同的环境，其中五个是全新的：侧面思考难题（LTP）、知识图谱（KG）、数字卡牌游戏（DCG）、操作系统（OS）和数据库（DB）。最后的三个环境——家政（Alfworld）、在线购物（WebShop）和网络浏览（Mind2Web）——是从现有数据集进行改编的。这些环境都经过精心设计，以代表文本化的LLMs可以扮演自主代理的交互情境。它们严格评估LLM的关键能力，如编码、知识获取、逻辑推理和遵循指示，因此AgentBench成为评估代理和LLMs的全面测试平台。 利用AgentBench，研究人员对包括基于API和开源模型在内的25个不同的LLMs进行了深入分析和评估。研究结果显示，像GPT-4这样的顶级模型擅长处理各种现实世界的任务，这意味着可以创建高效能并不断适应的代理人。然而，这些顶级的基于API的模型在性能上明显不如它们的开源替代品。开源LLMs在其他基准测试中表现良好，但当他们面对AgentBench的困难任务时，它们表现不佳。这强调了进一步改进开源LLMs学习能力的需求。 研究的贡献可以总结如下： AgentBench是一个全面的基准测试，定义了标准化的评估程序，并引入了将LLMs作为代理进行评估的创新概念。它通过整合八个模拟现实世界情境的真实环境，为评估LLMs的各种能力提供了一个有用的平台。 该研究利用AgentBench对25个不同的LLMs进行了全面评估，揭示了领先的商业API型LLMs和开源替代品之间的显著性能差距。这种评估突出了LLM作为代理的当前状况，并确定了需要改进的领域。 该研究还提供了一个基于“API＆Docker”交互范式的集成工具集，使定制AgentBench评估过程更加容易。这个工具集对更广泛的研究社区可用，结合相关数据集和环境，促进了LLMs领域的合作研究和开发。

OpenAI通过引入一种名为GPTBot的新型网络爬虫工具，回应了在采集公共网站上的数据时出现的隐私和知识产权问题。这项技术旨在透明地收集公共网络数据，并将其用于训练他们的AI模型，一切都在OpenAI的旗帜下进行。 GPTBot的用户代理旨在收集有助于改进未来AI模型的数据。在此过程中，GPTBot将省略需要付费的来源。然而，需要注意的是，一些收集到的数据可能无意中包含可识别的信息或文本，从而违反了OpenAI的政策。 OpenAI认识到需要为网站管理员提供有关GPTBot平台访问的选项。授予访问权限被视为在提高AI模型的准确性、增强其功能和加强安全措施方面的一种合作方式。与此相反，OpenAI还为那些不希望将其网站包含在GPTBot数据收集工作中的人提供了一套程序。该指南包括将GPTBot指令整合到网站的robots.txt文件中，并配置其访问特定内容段。 为了更加透明，OpenAI已发布了与GPTBot活动相关的IP地址范围。此举不仅有助于识别机器人的行为，还提供了必要时阻止其访问的手段。 这些透明度举措突显了OpenAI对AI模型运营商所面临的批评的回应，这些运营商被指控在未经明确同意的情况下收集数据。普遍的观点认为，该行业的做法可能侵犯了知识产权和隐私保护，通过未经适当授权从公共网站收集内容。这反过来促使AI实体提供更全面的选择加入和退出机制，允许网站所有者和数据保管人对其内容的使用发表意见。 在相关发展中，Kickstarter的筹款平台最近引入了AI项目规定。这些规定包括一个重要要求，即利用外部数据源的项目必须提供来自源网站的适当许可协议和获得的同意的证据。未能履行此义务的项目将无资格在Kickstarter上列出。 预计在接下来的一周，OpenAI将进行一次重大改革，其中包括将基础ChatGPT层转换为GPT-4。此外，对Code Interpreter插件的增强将包括支持上传多个文件到提示，反映了OpenAI对持续改进和创新的承诺。

长期以来，人工智能的目标之一是创建能够与人们在现实世界中进行有机交流的机器人。现今的具身代理人可以执行简单的低级命令，例如“拿起蓝色的积木”或“经过电梯然后向右转”。然而，交互式代理人需要能够理解人们在“此时此地”之外使用语言的全部方式，包括知识传递（例如，“左上角的按钮关闭电视”），情境信息（例如，“我们没有牛奶了”）和协调（例如，“我已经清理过客厅了”）。 大部分孩子在书籍中阅读或从他人那里听到的内容都传达了关于世界的信息，无论是它如何运作还是它目前的状态。他们如何使代理人能够说其他语言？强化学习（RL）是一种教授以语言为条件的代理人解决问题的技术。然而，目前大多数使用的语言条件的RL技术是通过从任务特定的指令中产生动作来训练的，例如，通过将像“拿起蓝色的积木”这样的目标描述作为输入并生成一系列运动命令。直接将语言映射到最佳行动方案在考虑到自然语言在实际世界中扮演的各种角色时，提供了一个困难的学习挑战。 如果正在进行的工作是清理，代理人应该通过进行下一个清理步骤来回答，但如果是用餐，代理人应该收拾碗。以“我把碗放好了”为例。当语言不讨论任务时，语言与代理人最佳行动方案之间只有弱相关性。因此，仅通过将语言映射到活动的任务奖励可能是学习信号更好，以便学会使用各种语言输入完成任务。相反，他们建议，语言对代理人的一个统一功能是帮助进行未来预测。短语“我把碗放好了”可以使代理人更准确地预测未来的观察结果（例如，如果它打开柜子，它会看到碗）。 从这个意义上说，孩子们接触到的大部分语言可能根植于视觉经验。代理人可以使用先前的信息来预测环境变化，例如“扳手可以用来拧紧螺母”。代理人可以通过说“包裹在外面”来预期观察结果。这种范式还将常见的按照指令实践与预测术语结合起来：指令帮助代理人期待奖励。他们认为，预测未来表示为代理人提供了丰富的学习信号，有助于他们理解语言以及它如何与外部世界交互，类似于下一个令牌预测使语言模型能够构建内部对世界知识的表示。 加州大学伯克利分校的研究人员引入了Dynalang，一种通过在线经验获取世界的语言和视觉模型，并利用该模型理解如何行为的代理。Dynalang将使用该模型的行为学习（具有任务激励的强化学习）与使用语言模型（具有预测目标的监督学习）的世界建模分开。世界模型接收视觉和文本输入作为观察模态，这些输入被压缩为潜在空间。随着代理人与周围环境的互动，使用在线收集的数据，它训练世界模型预测未来的潜在表示。使用世界模型的潜在表示作为输入，他们训练策略采取决策以最大化任务奖励。 由于世界建模与行动是不同的，Dynalang可以在没有活动或任务奖励的情况下预先训练单模态（仅文本或仅视频数据）。此外，语言生成的框架可以统一：代理人的感知可以影响其语言模型（即其关于未来令牌的预测），从而使其能够通过在动作空间中生成语言来与环境进行交流。他们在各种语言环境中测试了Dynalang的性能。Dynalang学会了利用关于未来观察结果、环境动态和修正的语言线索，在多任务清洁房屋的环境中更快地完成家务。在Messenger基准测试中，Dynalang通过阅读游戏手册来匹配游戏的最难关卡，优于任务特定的架构。他们展示了Dynalang可以在视觉和语言复杂的环境中掌握指令，在视觉语言导航中超越了最先进的强化学习算法和任务特定的架构。 以下是他们所做的贡献： • 他们提出了Dynalang，一种使用未来预测来连接语言与视觉体验的代理。 • 他们展示了Dynalang通过学习理解各种类型的语言来应对各种任务，优于最先进的RL算法和任务特定设计。 • 他们证明了Dynalang的构想打开了新的可能性，包括在单一模型中将语言创作与纯文本预训练相结合，而无需行动或任务激励。

最近引入的大型语言模型（LLMs）已经在人工智能（AI）社区中引起了轰动。这些模型通过使用超强的自然语言处理（NLP）、自然语言生成（NLG）和自然语言理解（NLU）成功地模仿了人类。LLMs因为能够模仿人类进行真实对话而变得著名，它们能够回答简单和复杂的问题，生成内容，代码补全，机器翻译和文本摘要。NLP的目标是使计算机系统能够理解和响应以自然语言给出的命令，使人们能够以更自然和灵活的方式与它们互动，最好的例子就是指令跟随模型。 这些模型是使用LLMs、有监督的例子或其他类型的监督进行训练，并暴露在成千上万个以自然语言指令编写的任务中。在最近的研究中，来自麦吉尔大学Mila Quebec AI研究所、麦吉尔大学和Facebook CIFAR AI Chair的团队研究了评估指令跟随模型在给定一组文本段落上执行问答（QA）任务的性能。这些模型可以在提供描述任务、问题和由检索器检索到的相关文本段落的提示时回答问题，这些模型产生的响应被认为是自然和信息丰富的，有助于建立用户的信任和参与度。 这些模型可以通过仅向其输入添加检索到的文档和指令来自然而流畅地回答用户的查询。然而，这种额外的冗长使得传统的QA评估指标如完全匹配（EM）和F1分数难以有效地量化模型的性能。这是因为模型的响应可能包含更多细节，而参考答案忽略了这些细节，但仍然准确。为了解决这个问题，团队提供了两个评估指标衡量检索增强的质量保证（QA）中的指令跟随模型。 关于信息必要性、准确性：这个维度评估模型满足用户信息需求的能力。它关注的是生成的响应是否包含相关信息，即使它超出了直接在参考答案中提及的内容。 与所提供的信息的一致性：这个维度评估模型在所提供的知识中是否正确回答问题。一个真实的模型应该避免在呈现无关信息时回答问题，并在有关信息可用时给出准确的答案。 作者在三个不同的QA数据集上评估了几个最近的指令跟随模型：用于开放域QA的自然问题，用于多跳QA的HotpotQA，以及用于对话QA的TopiOCQA。他们手动分析了900个模型的响应，并将结果与不同的自动评估指标进行了比较，以评估准确性和忠实度。他们的研究表明，召回率（衡量参考答案中的标记在模型响应中的占比）与正确性的相关性比EM或F1分数等词汇重叠度量更强。与其他用于忠实度的标记重叠度量相比，K-Precision（模型答案标记在知识片段中存在的百分比）与人类判断更强相关。 总之，本研究旨在更全面地评估指令跟随模型在QA任务中的优势和劣势。该团队通过在GitHub存储库上提供他们的代码和数据，进一步推动了该领域的进展。

大型语言模型（LLMs）在自然语言处理（NLP）领域取得了显著进展。将多模态引入LLMs并将其转化为多模态大型语言模型（MLLMs），可以进行多模态感知和解释，这是一个合乎逻辑的步骤。作为人工通用智能（AGI）的可能步骤，MLLMs在感知（如存在、计数、位置、OCR）、常识推理和代码推理等各种多模态任务中展示出了令人惊讶的新技能。与LLMs和其他任务特定模型相比，MLLMs能够以更类似人类的视角看待环境，提供用户友好的交互界面，并具备更广泛的任务解决能力。 现有的以视觉为中心的MLLMs使用Q-former或基本投影层、预训练的LLMs、视觉编码器和额外的可学习模块。另一种范式是通过API将当前的视觉感知工具（如跟踪和分类）与LLMs相结合，构建一个无需训练的系统。早期在视频领域的一些研究使用了这种范式开发了视频MLLMs。然而，以往从未对基于长时间电影（持续时间超过一分钟）的模型或系统进行过任何研究，并且也没有设定衡量这些系统有效性的标准。 在这项研究中，浙江大学、华盛顿大学、微软亚洲研究院和香港大学的研究人员介绍了一种名为MovieChat的独特框架，用于解决长时间视频解释挑战，将视觉模型与LLMs结合起来。根据他们的说法，扩展视频理解的剩余困难包括计算困难、内存开销和长期时间关联。为了解决这个问题，他们提出了一种基于阿特金森-希夫林（Atkinson-Shiffrin）记忆模型的记忆系统，其中包括快速更新的短期记忆和紧凑持久的长期记忆。 这个独特的框架将视觉模型与LLMs结合起来，是第一个能够进行扩展视频理解任务的框架。该研究通过进行严格的定量评估和案例研究，评估了理解能力和推理成本的性能，并提出了一种记忆机制，以降低计算复杂性和内存成本，同时改善长期时间关联。该研究通过将巨大的语言模型与视频基础模型相结合，提出了一种新颖的理解视频的方法。 该系统通过包含一个受阿特金森-希夫林模型启发的记忆过程来解决分析长电影的困难，其中包括由Transformers中的令牌表示的短期和长期记忆。所提出的系统MovieChat在扩展视频理解方面表现优于之前只能处理几帧电影的算法，并达到了最先进的性能。这种方法解决了长期时间关联问题，同时降低了内存使用和计算复杂性。该研究凸显了记忆过程在视频理解中的作用，使模型能够存储和检索相关信息长时间。MovieChat的普及对包括内容分析、视频推荐系统和视频监控在内的行业具有实际影响。未来的研究可能会探索如何加强记忆系统，并使用其他模态（包括音频）来提高视频理解能力。这项研究为需要全面理解视觉数据的应用创造了可能性。他们的网站上有多个演示。

最近的语言模型可以将长上下文作为输入；需要了解它们如何更好地使用更长的上下文。能否将LLMs扩展到更长的上下文？这是一个未解答的问题。Abacus AI的研究人员进行了多次实验，涉及不同方案来开发Llama的上下文长度能力，该模型在上下文长度2048上进行了预训练。他们使用IFT将这些模型进行线性缩放，缩放比例为4和16。将模型缩放到16倍可以执行长达16k的上下文长度的任务，甚至可以执行长达20-24k的上下文长度的任务。 扩展上下文长度的不同方法包括线性缩放、通过幂将旋转位置嵌入（RoPE）的傅里叶基缩放、截断傅里叶基和随机化位置向量。Abacus AI的研究人员使用这些方法对RedPajama数据集和Vicuna数据集进行了微调。他们发现线性缩放是稳健的，但会增加模型的上下文长度。截断和随机化具有很高的困惑度分数，但在检索任务上表现较差。 为了评估这些模型，研究人员使用了来自LMSys、开放式问答数据集和WikiQA的数据集。LMSys数据集用于在上下文中定位子字符串。WikiQA任务是根据维基百科文档中给出的信息回答问题的任务。 团队根据Google自然问题中的简短回答格式数据构建了一个QA任务。他们确保输出只是从原始文档中复制粘贴的短词回答。这样可以精确定位LLM应该查找的位置，通过将答案放置在不同位置有效地评估扩展上下文长度的每个部分。他们还创建了多个具有不同大小的相同维基百科文档的版本，这使他们能够在模型大小上进行公平评估。 基于维基百科的数据集的问题是模型从其预训练的文本中回答而不是从上下文中回答。研究人员通过创建一个由只有数字答案的问题组成的改编数据集来解决这个问题。他们改变了答案和文档中响应的每个出现，使得如果LLM从其预训练的文本中回忆起来，模型将错误地回答。他们将原始QA任务命名为自由格式QA（FFQA），将改编任务命名为改编数字QA（AltQA）。 AbacusAI的研究人员在两个版本的QA任务中对每个示例进行了存在准确性评估。存在准确性是衡量生成的解决方案中是否存在答案作为子字符串的准确性。他们观察到IFT的准确性提高并不能给模型能够实现的上下文长度范围带来任何扩展。 研究人员表明，通过缩放上下文进行IFT可以显著提高性能。他们观察到在缩放上下文因子插值的所有位置上，FFQA的性能提高了2倍，AltQA的性能提高了2.5倍。最后，他们的研究工作提出了一个更大上下文的语言模型，它通过更好地捕捉文档的主题更容易地提高困惑度。

融入人类输入是近期大型语言模型（LLM）能力显著提升的关键组成部分，例如ChatGPT和GPT-4。为了有效使用人类反馈，首先必须训练一个融入人类偏好、价值观和伦理问题的奖励模型。然后，在奖励模型的指导下，使用强化学习调整LLM。这个过程被称为从人类反馈中进行强化学习（RLHF），可以成功地使LLM与人类目标协调，显著提升人际交流的质量。 创建一个功能性且基于人类偏好的奖励系统并不容易。当人类标注者无法为特定提示的响应或完成提供一个数字评分时，这变得非常具有挑战性。相反，对于人们来说，根据质量进行完成的两两比较要简单得多，并且这种方法被用于InstructGPT的创建。特别是，人类标注者在看到由LLM生成的许多完成的同一个提示后，将这些完成从最高到最低的感知质量进行排序。 然后，回复根据一个经过训练的神经网络来匹配人类偏好排名的奖励模型进行奖励。尽管有一些优点，比如消除校准问题，但排名并不能充分反映多个提示的各种奖励分布。这是因为当排名较高时，很难清楚地知道一个完成比另一个完成好多少。由于一些RLHF提示是开放式的，或者换句话说，依赖于用户的历史记录，因此奖励分布可能在较大范围内变化；因此，这个问题尤为重要。 相反，有些提示是封闭式的，产生应该获得高或低分的回复，导致奖励分布的近似两点质量分布。第一类提示的例子包括“证明勾股定理”和“鸡是恐龙吗”。第二类提示的例子包括“证明勾股定理”和“写一篇关于100年后人工智能的短篇小说”。只有考虑到各种线索的微妙之处，激励模型才能帮助LLM适当地衡量不确定性。 斯坦福大学、普林斯顿大学和宾夕法尼亚大学的研究人员记录了一个意外现象，显示在根据偏好排名训练奖励模型时，它可以提供独立于提示的相同奖励分布。这个事件发生在训练的最后阶段，被称为奖励崩溃。有趣的是，在这个事件被经验性地证明之前，他们的理论分析就已经预测到了。他们证明了可以使用一个简单的优化程序，甚至更简单的闭式表达式来数值推断奖励崩溃的奖励分布。他们对奖励崩溃的预测与经验结果非常吻合。 他们的第二个重要贡献是引入了一种有原则的策略，利用来自同一个优化程序的数据来防止奖励崩溃。奖励崩溃是不可取的，因为它忽略了不同提示之间微小的区别，并且在使用强化学习和奖励模型训练LLM时可能导致人类选择的错误校准。奖励模型的训练提前结束是解决这个问题的一个简单方法，但这是相当任意的，并且很难决定何时结束。 实质上，他们建议基于提示使用不同的效用函数来训练奖励模型，这样产生的奖励分布可以是广泛分散或紧密集中的，具体取决于提示是开放式还是封闭式。这种基于提示的技术具有明显的优势，可以进行全面的分析，根据需要完全定制奖励分布的结构。他们的研究结果表明，使用这种基于提示的技术可以显著减少奖励崩溃。

ChatGPT和大型语言模型（LLMs）非常灵活，可以创建多种程序。然而，当应用程序受欢迎并且流量增加时，与LLM API调用相关的成本可能变得显著。在处理许多查询时，LLM服务可能还需要较长的等待时间。 为了直面这一困难，研究人员开发了GPTCache，这是一个旨在存储LLM答案的语义缓存项目。开源的GPTCache程序可以通过缓存其输出答案来加快LLMs的速度。当所请求的响应已经在缓存中存储并且之前已经请求过时，这将极大地减少获取它所需的时间。 GPTCache具有灵活和简单的特点，非常适合任何应用。它与许多语言学习机器（LLMs）兼容，例如OpenAI的ChatGPT。 它是如何工作的？ 为了正常运行，GPTCache会缓存LLM的最终回复。缓存是用于快速检索最近使用的信息的内存缓冲区。每当向LLM发出新请求时，GPTCache首先查找缓存，以确定所请求的响应是否已经存储在其中。如果答案可以在缓存中找到，它将立即返回。如果缓存中没有找到，LLM将生成响应并将其添加到缓存中。 GPTCache的模块化架构使其易于实施定制的语义缓存解决方案。用户可以通过选择不同的设置来定制每个模块的体验。 LLM适配器通过将各种LLM模型使用的API和请求协议标准化为OpenAI API，统一了它们之间的接口。由于LLM适配器可以在不需要重写代码或熟悉新API的情况下在LLM模型之间移动，它简化了测试和实验。 嵌入生成器使用所请求的模型创建嵌入，以进行相似性搜索。支持的模型可以使用OpenAI的嵌入API。这是使用GPTCache/paraphrase-albert-onnx模型的ONNX，Hugging Face嵌入API，Cohere嵌入API，fastText嵌入API和SentenceTransformers嵌入API。 在缓存存储中，像ChatGPT这样的LLM的响应被保留，直到可以检索。在确定两个实体是否在语义上相似时，会获取缓存的回复并将其发送回请求方。GPTCache与许多不同的数据库管理系统兼容。用户可以选择最符合其性能、可扩展性和最常用数据库成本要求的数据库。 向量存储的选择：GPTCache包括一个向量存储模块，它使用从原始请求中导出的嵌入来识别K个最相似的请求。此功能可用于确定两个请求的相似程度。此外，GPTCache支持多个向量存储，例如Milvus、Zilliz Cloud和FAISS，并为与它们一起使用提供了简单的接口。用户可以选择各种向量存储选项，其中任何一个都可能影响GPTCache的相似性搜索性能。凭借对各种向量存储的支持，GPTCache承诺是可适应的，并满足更多种用例的需求。 GPTCache缓存管理器管理缓存存储和向量存储组件的驱逐策略。当缓存被填满时，替换策略决定哪些旧数据应该从缓存中删除，以为新数据腾出空间。 相似性评估器的信息来自于GPTCache的缓存存储和向量存储部分。它使用几种不同的方法将输入请求与向量存储中的请求进行比较。是否从缓存中提供请求取决于相似度的程度。GPTCache提供了统一的接口和可用实现的库，以确定缓存匹配。GPTCache通过各种相似度算法来确定缓存匹配的能力，使其能够适应大范围的用例和用户需求。 特点和优势 通过GPTCache减少LLM查询延迟，提高响应速度和速度。 由于许多LLM服务采用基于令牌和请求的定价结构，GPTCache可以减少服务成本，限制API调用次数。 GPTCache具有从LLM服务卸载工作的能力，提高可扩展性。随着您接收的请求数量增加，这可以帮助您保持高效运行。 借助GPTCache，可以将创建LLM应用程序的成本降至最低。通过缓存由LLM生成或模拟的数据，您可以在不向LLM服务发出API请求的情况下测试您的应用程序。 GPTCache可以与您选择的应用程序（LLM ChatGPT）、缓存存储（SQLite、PostgreSQL、MySQL、MariaDB、SQL Server或Oracle）和向量存储（FAISS、Milvus、Ziliz Cloud）配合使用。GPTCache项目的目标是在GPT-based应用程序中尽可能地重用先前生成的回复，而不是每次都从空白开始，从而实现对语言模型的最有效利用。