四海吧 Posts

大型语言模型（LLMs）已经出现和发展，为人工智能领域增加了一种新的复杂性。通过密集的训练方法，这些模型已经掌握了一些惊人的自然语言处理、自然语言理解和自然语言生成任务，例如回答问题、理解自然语言推理和总结材料。它们还完成了与NLP不常见相关的活动，例如理解人类意图和执行指令。 像AutoGPT、BabyAGI和AgentGPT这样的应用程序利用LLMs实现了自主目标，这些应用程序的实现得益于所有NLP的进步。尽管这些方法引起了公众的浓厚兴趣，但评估LLMs作为代理的标准基线的缺失仍然是一个重大障碍。虽然过去已经使用基于文本的游戏环境来评估语言代理人，但由于其有限和离散的动作空间，它们经常存在一些缺点。此外，它们主要评估模型的常识基础能力。 大多数现有的代理人基准测试都专注于特定的环境，这限制了它们在各种应用场景中对LLMs进行全面评估的能力。为了解决这些问题，清华大学、俄亥俄州立大学和加州大学伯克利分校的研究人员提出了AgentBench，这是一个多维基准测试，旨在评估LLMs作为代理的能力在各种环境中。 AgentBench包含了八个不同的环境，其中五个是全新的：侧面思考难题（LTP）、知识图谱（KG）、数字卡牌游戏（DCG）、操作系统（OS）和数据库（DB）。最后的三个环境——家政（Alfworld）、在线购物（WebShop）和网络浏览（Mind2Web）——是从现有数据集进行改编的。这些环境都经过精心设计，以代表文本化的LLMs可以扮演自主代理的交互情境。它们严格评估LLM的关键能力，如编码、知识获取、逻辑推理和遵循指示，因此AgentBench成为评估代理和LLMs的全面测试平台。 利用AgentBench，研究人员对包括基于API和开源模型在内的25个不同的LLMs进行了深入分析和评估。研究结果显示，像GPT-4这样的顶级模型擅长处理各种现实世界的任务，这意味着可以创建高效能并不断适应的代理人。然而，这些顶级的基于API的模型在性能上明显不如它们的开源替代品。开源LLMs在其他基准测试中表现良好，但当他们面对AgentBench的困难任务时，它们表现不佳。这强调了进一步改进开源LLMs学习能力的需求。 研究的贡献可以总结如下： AgentBench是一个全面的基准测试，定义了标准化的评估程序，并引入了将LLMs作为代理进行评估的创新概念。它通过整合八个模拟现实世界情境的真实环境，为评估LLMs的各种能力提供了一个有用的平台。 该研究利用AgentBench对25个不同的LLMs进行了全面评估，揭示了领先的商业API型LLMs和开源替代品之间的显著性能差距。这种评估突出了LLM作为代理的当前状况，并确定了需要改进的领域。 该研究还提供了一个基于“API＆Docker”交互范式的集成工具集，使定制AgentBench评估过程更加容易。这个工具集对更广泛的研究社区可用，结合相关数据集和环境，促进了LLMs领域的合作研究和开发。

OpenAI通过引入一种名为GPTBot的新型网络爬虫工具，回应了在采集公共网站上的数据时出现的隐私和知识产权问题。这项技术旨在透明地收集公共网络数据，并将其用于训练他们的AI模型，一切都在OpenAI的旗帜下进行。 GPTBot的用户代理旨在收集有助于改进未来AI模型的数据。在此过程中，GPTBot将省略需要付费的来源。然而，需要注意的是，一些收集到的数据可能无意中包含可识别的信息或文本，从而违反了OpenAI的政策。 OpenAI认识到需要为网站管理员提供有关GPTBot平台访问的选项。授予访问权限被视为在提高AI模型的准确性、增强其功能和加强安全措施方面的一种合作方式。与此相反，OpenAI还为那些不希望将其网站包含在GPTBot数据收集工作中的人提供了一套程序。该指南包括将GPTBot指令整合到网站的robots.txt文件中，并配置其访问特定内容段。 为了更加透明，OpenAI已发布了与GPTBot活动相关的IP地址范围。此举不仅有助于识别机器人的行为，还提供了必要时阻止其访问的手段。 这些透明度举措突显了OpenAI对AI模型运营商所面临的批评的回应，这些运营商被指控在未经明确同意的情况下收集数据。普遍的观点认为，该行业的做法可能侵犯了知识产权和隐私保护，通过未经适当授权从公共网站收集内容。这反过来促使AI实体提供更全面的选择加入和退出机制，允许网站所有者和数据保管人对其内容的使用发表意见。 在相关发展中，Kickstarter的筹款平台最近引入了AI项目规定。这些规定包括一个重要要求，即利用外部数据源的项目必须提供来自源网站的适当许可协议和获得的同意的证据。未能履行此义务的项目将无资格在Kickstarter上列出。 预计在接下来的一周，OpenAI将进行一次重大改革，其中包括将基础ChatGPT层转换为GPT-4。此外，对Code Interpreter插件的增强将包括支持上传多个文件到提示，反映了OpenAI对持续改进和创新的承诺。