1319 search results for "扩展"

来自Google DeepMind、斯坦福大学和加州大学伯克利分校的研究人员开发了一个名为Code Chain的代码链，旨在解决提高语言模型的代码驱动推理能力的问题。Code Chain鼓励将语义子任务以灵活的伪代码格式化为程序，解释器可以明确捕捉到未定义行为，并交给模拟器（作为“LMulator”）来模拟。Code Chain在使用大型和小型模型时都具有良好的扩展性，并通过以编码思维回答问题来扩大语言模型能够正确回答的推理问题的范围。 类似于Chain of Thought、least-to-most和ScratchPad等工作利用提示来改善推理，通过将任务分解为中间步骤或跟踪中间结果来进行。在Github上训练的语言模型被提示编写和执行代码，这有助于解决涉及数字或符号推理的复杂问题。 为了解决给定的问题，Code Chain在代码结构中生成推理子步骤。这段代码提供了推理的框架，可以是明确的代码、伪代码或自然语言形式。Code Chain通过将代码的优点与语言模型的强大语义和常识知识相结合，使代码在全新的领域中得以使用，可以轻松表达在代码中难以表达的规则（例如，哪些食物是水果？）。 Code Chain的核心贡献不仅仅是生成推理代码，而是如何执行它。代码编写完毕后，尝试通过代码解释器执行代码-在这项研究中，研究人员考虑了Python，但这种方法对任何解释器都是通用的。如果代码成功执行，则更新程序状态并继续执行。如果代码无法执行或引发任何异常，则使用语言模型来模拟执行。语言模型的输出更新程序状态，并继续执行。 Code Chain方法的整体性能优于其他方法，在超过的任务数量和整体超过基准线的数量上超过人类基准线。Code Chain在几项研究中取得了最新成果。与Chain of Thought提示相似，随着模型大小的增加，性能有所提高。跨任务提示导致所有方法的性能下降，但Code Chain在大规模上仍然优于Chain of Thought和直接提示，接近人类的平均性能。 Code Chain是通过编写代码和使用解释器执行代码或使用模拟执行的语言模型，以在语言模型中进行推理的方法。Code Chain可以利用规则的表达结构和强大的工具。此外，通过模拟非可执行代码的执行，Code Chain可以应用于正常情况下不涉及代码的问题（例如，语义推理问题）。

近期，大型语言模型（LLM）因其出色的遵循指令能力和处理广泛的开放式场景的能力而受到了广泛关注。通过指令微调，研究人员提供了许多与人类偏好相一致的技术，这些技术基于开源LLM，如FlanT5、OPT、LLaMA和Pythia等。这些对齐的LLM显示出对人类命令的理解能力提高，并产生更合乎逻辑的回复。然而，当前的基准和传统的测量方法需要充分评估LLM在开放式场景中的能力。 因此，需要一种新的基准方法，可以全面评估LLM在开放式活动中的能力。同时，正在进行研究来探索不同的方法来确定LLM的性能。Arena格式技术利用众包平台获取匿名LLM竞赛结果。人类评估可靠，但也需要花费金钱和大量的努力。一些方法使用GPT-4作为仲裁者。然而，这些方法需要API模型转换的可变性和可能的数据泄露，可能会危及仲裁者的重复性。PandaLM致力于改进用于回答评估的开源LLM。 图1（a）：JudgeLM的数据生成流程。首先收集105K个种子任务作为问题。然后从11个LLM中提取答案，并随机选择两个答案。最后，输入任务、样本答案对和（如有需要）GPT-4的回复。这样可以得到评分和对仲裁者的详细解释。 然而，这种精细模型在司法岗位上的实用性受到模型大小、训练数据质量和内在LLM偏见的限制。北京市人工智能研究院和华中科技大学的研究人员建议在这项研究中使用优化的开源LLM来评估LLM，这些LLM作为可扩展的仲裁者（JudgeLM）与指导仲裁者达成足够好的一致性。他们的技术将用于训练和评估仲裁者模型的高质量数据集与作为可扩展的仲裁者在开放式任务中担任评估者。他们修改开源LLM以在他们的框架内作为仲裁者，并检查它们在模型大小（7B至33B）和训练数据量（3.5K至100K）方面的扩展能力。 图1（b）：JudgeLM的不同特征和微调示例。为了改善LLM作为可扩展仲裁者的性能，他们使用生成的仲裁者样本。他们还建议使用参考答案删除、参考支持和交换增强来微调LLM作为仲裁者，以分别克服格式、知识和位置偏见。 如图1a所示，他们策划的数据集包括105K个种子问题、LLM答案对和教员仲裁者GPT-4的判断。注意，对于每个种子挑战，学生们提出了两个决策——一个带有参考答案，一个没有参考答案。这个数据集的划分是将100K个种子问题用于训练（比PandaLM大2倍），并将剩下的问题用于验证（比PandaLM大29倍）。当LLM作为仲裁者时，位置偏见（偏爱特定情况下的回答）、知识偏见（过度依赖预先训练的信息）和格式偏见（仅在特定提示形式下的最佳性能）等偏见总会出现。 他们提供了处理它们的方法。此外，如图1b所示，他们的JudgeLM系统具有扩展功能，如多轮对话、对单个回复评分以及评判多个答案，除了多模型。相比竞技场格式的方法，他们的解决方案更快捷且经济实惠。例如，JudgeLM-7B是一种模型，可以在3分钟内评估5000对回应，并且只需8个A100 GPU。JudgeLM的隐私保护和可重复性比闭源LLM评委更多。他们的方法研究了LLM微调的扩展能力和偏见，与并发的开源LLM评委相比。 此外，他们提供的数据集是最全面和出色的，将极大地帮助未来的评估模型分析研究。以下简要描述了他们的主要贡献： • 他们提出了JudgeLM，一种可扩展的语言模型评委，用于评估开放式场景下的LLM。 • 他们引入了一个高质量、大规模的数据集，用于评估模型，丰富了不同的种子任务、LLM生成的答案以及来自GPT-4的详细判断，为未来评估LLM的研究奠定了基础。它超过了人对人的一致性，达到90%以上。此外，它的JudgeLM具有处理长时间作业的广泛能力。 • 他们研究了LLM中存在的偏见、评委微调，并提出了几种解决方案。他们的技术极大地提高了模型在各种场景下的一致性，提高了JudgeLM的可靠性和适应性。