四海吧 Posts

现代大型语言模型（LLM）在很大程度上依赖于数学推理，这是本文的主要焦点。尽管在这个领域取得了一些进展，但封闭源模型（如GPT-4、PaLM-2和Claude 2）在GSM8K和MATH等流行的数学推理基准中占据主导地位，而开源模型（如Llama、Falcon和OPT）则远远落后。 解决这个差距的两种主要方法是： 持续的预训练，例如Galactica和MINERVA，现在它正在使用链接到数学的超过1000亿个网页数据上训练LLM。虽然计算代价高昂，但这种方法可以提高模型在科学推理方面的能力。 使用每个数据集独特的训练数据，使用拒绝采样微调（RFT）和WizardMath等微调方法来完善LLM。虽然这些方法在其领域内是有效的，但在需要推理的其他数学领域中无法转移。 滑铁卢大学、俄亥俄州立大学、香港科技大学、爱丁堡大学和IN.AI最近的研究探索了一种轻量级但具有普适性的数学指令调整技术，以提高LLM在数学推理能力上的表现（即不仅仅是微调任务）。 目前的方法在很大程度上依赖于思维链（CoT）方法，描述了它们如何以自然语言步骤解决数学问题。但是，当涉及到计算精度和复杂的数学或算法推理方法时，这种方法表现不佳。基于代码的技术，如PoT和PAL，使用第三方资源来简化数学求解过程。 该方法建议将计算密集型任务（例如使用sympy解二次方程或使用numpy计算矩阵特征值）委托给一个独立的Python解释器。另一方面，PoT在处理更抽象的推理场景（如常识推理、形式逻辑和抽象代数）时具有一些局限性，特别是在缺乏现有API的情况下。 为了充分利用CoT和PoT的优势，该团队提出了一个名为MathInstruct的数学混合指令调整数据集。它的主要特点包括： 全面覆盖各种数学领域和复杂程度 混合CoT和PoT的解释。 六个全新选择的和七个现有的数据集为MathInstruct的数学解释提供了基础。从建模的角度来看，研究人员训练和评估了约50个独特模型，基线范围从7B到70B，以了解各种输入输出格式和数据源的影响。 结果表明，这些模型在数学通用性方面表现出色。 研究人员在各种数据集上对MAmmoTH进行了广泛测试，从领域内（IND）到领域外（OOD），例如GSM8K、MATH、AQuA-RAT和NumGLUE。这些模型显著提高了开源LLM在数学推理上的效率，并且在OOD数据集上比最先进的方法具有更好的泛化能力。在流行的竞赛级别MATH数据集上，7B模型的结果超过了WizardMath（开源MATH SoTA）的3.5倍（35.2%对10.7%），而34B MAmmoTH-Coder（在Code Llama上进行了微调）的结果超过了GPT-4（使用CoT）。这些模型中的MAmmoTH和MAmmoTH-Coder都显著提高了以前可用的开源模型的准确性。

基于Transformer的大型语言模型（LLMs），如GPT、PaLM和LLaMA，已广泛用于各种实际应用中。这些模型已应用于各种任务，包括文本生成、翻译和自然语言解释。然而，这些模型的高推理成本，特别是在对低延迟要求很高的情况下，是一个主要关注点。这些模型使用的自回归解码方法是高推理成本的主要原因。由于自回归解码过程中每个输出令牌是顺序生成的，因此存在大量的Transformer调用。每个Transformer调用的内存带宽受限，导致计算效率低下和执行时间长。 为了加速大型语言模型（LLMs）的推理过程，最近的一项研究引入了一种称为自我推测解码的独特方法，该方法不需要辅助模型。这种方法解决了快速生成推理结果并保持输出质量的问题。它的特点是一个由起草和验证组成的两阶段过程。 起草阶段 – 起草阶段的目标是更快地生成起草令牌，即使它们的质量略低于使用传统自回归方法生成的令牌。为了实现这一目标，该方法在起草过程中绕过了一些中间层。LLMs中的这些中间层通常会改进输出，但它们在推理过程中也会占用大量时间和资源。 验证阶段 – 该技术在起草阶段生成起草输出令牌，然后使用原始未经修改的LLM在单个前向传递中验证它们。使用传统的自回归解码技术，LLM会产生相同的最终结果，这由验证步骤确保。因此，即使起草阶段更快地生成了令牌，最终产品的质量也得到了保证。 自我推测解码不需要进一步的神经网络训练，这是它的主要优点之一。为了实现更快的推理，现有方法常常需要训练辅助模型或对LLM的架构进行重大改变，这可能具有挑战性且资源密集。而自我推测解码是一种“即插即用”的方法，可以在现有LLMs上添加而无需额外的训练或模型修改。 研究为自我推测解码的有效性提供了实证支持。基于LLaMA-2及其改进模型的基准结果显示，自我推测解码方法比传统的自回归方法可以更快地解码数据高达1.73倍。这具有重要的优势，使推理过程大约快两倍，同时保持输出质量，在延迟是一个问题的情况下非常重要。 总之，自我推测解码是一种革命性的方法，改善了大型语言模型推理信息的方式。它通过建立起草和验证的两步过程，选择在起草阶段跳过哪些层以更快地生成令牌，并在验证阶段验证输出质量来实现这一目标。该方法加速了LLM的推理过程，而不会增加任何额外的内存负担或神经网络的训练要求。