大型语言模型（LLMs）虽然在各种语言任务上高效，但往往显示出弱推理能力，会犯下非常简单的错误。它们有时会因为无关的语境而做出错误的判断，或者展示出一种叫做谄媚的问题，即模型虽然输入的文本是错误的，但仍然同意它。研究人员试图通过增加监督式训练数据或采用强化学习策略来解决这些问题。然而，更有效的解决方案是修复变压器架构中的潜在瓶颈，特别是注意机制。
在变压器中，软注意力往往会赋予输入文本的大部分重要性，包括不相关的内容。此外，由于训练方式的原因，它过于关注重复的标记，导致了上述问题。Meta的研究人员团队引入了一种新方法，称为系统2注意力（S2A），利用调整指令的LLM来识别和提取输入上下文的最相关部分，从而减轻了不必要信息的影响。这种方法的另一个优点是，控制LLM的注意力焦点成为可能，类似于人类如何处理注意力。
变压器中的注意机制使其能够识别文本中的相关性。虽然这增强了模型的下一个单词预测能力，但同时也使得模型更容易被语境中的错误相关性所误导。文本中重复单词的概率随着每次迭代而增加，形成了一个正反馈循环，导致模型专注于特定主题。S2A的工作方式是首先删除上下文中的不必要部分并重新生成，然后将其用于输出最终结果，而不是使用原始文本。
研究人员进行了各种实验来测试他们方法的性能。他们得出了以下结果：
- S2A提高了模型对有关观点的问题的真实性。
- S2A增加了长篇生成文本的客观性，表明它不容易受到意见的影响。
- 此外，S2A还提高了模型在包含无关句子的数学问题上的性能。
研究人员还测试了S2A方法的不同变体（关注相关性而非无关性，删除不必要的词后保留原始语境等）。他们发现，除了少数实验外，这些变体的表现不如原始方法。
尽管该方法能够绕过无关信息，但仍可能受到其影响。此外，与标准LLM再生相比，它更具计算开销。然而，这个问题可以通过加快技巧来解决，研究人员将其留给未来工作。总体而言，S2A是一种可以防止LLM专注于文本中不重要部分以增加模型能力的方法。该技术改善了模型在处理观点提示和包含无关句子的数学问题时的性能。虽然仍有进一步改进的空间，但也可以探索其他途径以提高LLMs的推理能力。