四海吧 Posts

大型语言模型（LLMs）虽然在各种语言任务上高效，但往往显示出弱推理能力，会犯下非常简单的错误。它们有时会因为无关的语境而做出错误的判断，或者展示出一种叫做谄媚的问题，即模型虽然输入的文本是错误的，但仍然同意它。研究人员试图通过增加监督式训练数据或采用强化学习策略来解决这些问题。然而，更有效的解决方案是修复变压器架构中的潜在瓶颈，特别是注意机制。 在变压器中，软注意力往往会赋予输入文本的大部分重要性，包括不相关的内容。此外，由于训练方式的原因，它过于关注重复的标记，导致了上述问题。Meta的研究人员团队引入了一种新方法，称为系统2注意力（S2A），利用调整指令的LLM来识别和提取输入上下文的最相关部分，从而减轻了不必要信息的影响。这种方法的另一个优点是，控制LLM的注意力焦点成为可能，类似于人类如何处理注意力。 变压器中的注意机制使其能够识别文本中的相关性。虽然这增强了模型的下一个单词预测能力，但同时也使得模型更容易被语境中的错误相关性所误导。文本中重复单词的概率随着每次迭代而增加，形成了一个正反馈循环，导致模型专注于特定主题。S2A的工作方式是首先删除上下文中的不必要部分并重新生成，然后将其用于输出最终结果，而不是使用原始文本。 研究人员进行了各种实验来测试他们方法的性能。他们得出了以下结果： S2A提高了模型对有关观点的问题的真实性。 S2A增加了长篇生成文本的客观性，表明它不容易受到意见的影响。 此外，S2A还提高了模型在包含无关句子的数学问题上的性能。 研究人员还测试了S2A方法的不同变体（关注相关性而非无关性，删除不必要的词后保留原始语境等）。他们发现，除了少数实验外，这些变体的表现不如原始方法。 尽管该方法能够绕过无关信息，但仍可能受到其影响。此外，与标准LLM再生相比，它更具计算开销。然而，这个问题可以通过加快技巧来解决，研究人员将其留给未来工作。总体而言，S2A是一种可以防止LLM专注于文本中不重要部分以增加模型能力的方法。该技术改善了模型在处理观点提示和包含无关句子的数学问题时的性能。虽然仍有进一步改进的空间，但也可以探索其他途径以提高LLMs的推理能力。

最近，LLM模型被广泛应用于语言编程相关的活动中，成为强大的语言代理人。尽管取得了令人印象深刻的进展，但在实际的编程环境需求中，这些模型在静态实验环境下展现的能力与不断变化的实际编程场景之间仍存在很大差距。 标准代码生成基准测试评估LLM模型能否从零开始生成新的代码。然而，编程规范很少需要从头开始生成所有代码组件。 在编写实际应用程序的代码时，通常会使用现有的公开库。这些开发的库为各种挑战提供了强大的、经过实战检验的解决方案。因此，评估代码LLM模型的成功应该不仅限于函数产生的能力，还包括其能够正确使用参数的能力。 耶鲁大学、南京大学和北京大学的一项新研究提出了ML-BENCH，这是一个真实且全面的基准数据集，用于评估LLM模型理解用户指令、浏览GitHub仓库和产生可执行代码的能力。ML-BENCH提供了高质量、可教授的满足指令要求的代码。ML-BENCH由9,444个示例、130个任务和14个流行的机器学习GitHub仓库组成。 研究人员在他们的调查中使用Pass@k和参数命中精度作为度量标准。使用这些工具，他们在ML-BENCH环境中探索了GPT-3.5-16k、GPT-4-32k、Claude 2和CodeLlama的潜力。ML-BENCH为LLM模型提供了新的测试。实证结果显示，GPT模型和Claude 2的表现远远超过CodeLlama。虽然GPT-4相对于其他LLM模型表现出了显著的性能提升，但在实验中仅完成了39.73%的任务。其他众所周知的LLM模型出现了幻觉和表现不佳。研究结果表明，LLM模型不仅需要编写代码，还需要理解详尽的文档。这项技术的关键贡献是ML-AGENT的提出，它是一种自主语言代理人，旨在通过错误分析来解决发现的不足。这些代理人可以理解人类语言和指示，生成高效的代码并完成困难的任务。 ML-Bench和ML-Agent代表了自动化机器学习过程的艺术水平的重大进展。研究人员希望这能引起其他研究人员和实践者的兴趣。