76 search results for "Falcon LLM"

现代大型语言模型（LLM）在很大程度上依赖于数学推理，这是本文的主要焦点。尽管在这个领域取得了一些进展，但封闭源模型（如GPT-4、PaLM-2和Claude 2）在GSM8K和MATH等流行的数学推理基准中占据主导地位，而开源模型（如Llama、Falcon和OPT）则远远落后。 解决这个差距的两种主要方法是： 持续的预训练，例如Galactica和MINERVA，现在它正在使用链接到数学的超过1000亿个网页数据上训练LLM。虽然计算代价高昂，但这种方法可以提高模型在科学推理方面的能力。 使用每个数据集独特的训练数据，使用拒绝采样微调（RFT）和WizardMath等微调方法来完善LLM。虽然这些方法在其领域内是有效的，但在需要推理的其他数学领域中无法转移。 滑铁卢大学、俄亥俄州立大学、香港科技大学、爱丁堡大学和IN.AI最近的研究探索了一种轻量级但具有普适性的数学指令调整技术，以提高LLM在数学推理能力上的表现（即不仅仅是微调任务）。 目前的方法在很大程度上依赖于思维链（CoT）方法，描述了它们如何以自然语言步骤解决数学问题。但是，当涉及到计算精度和复杂的数学或算法推理方法时，这种方法表现不佳。基于代码的技术，如PoT和PAL，使用第三方资源来简化数学求解过程。 该方法建议将计算密集型任务（例如使用sympy解二次方程或使用numpy计算矩阵特征值）委托给一个独立的Python解释器。另一方面，PoT在处理更抽象的推理场景（如常识推理、形式逻辑和抽象代数）时具有一些局限性，特别是在缺乏现有API的情况下。 为了充分利用CoT和PoT的优势，该团队提出了一个名为MathInstruct的数学混合指令调整数据集。它的主要特点包括： 全面覆盖各种数学领域和复杂程度 混合CoT和PoT的解释。 六个全新选择的和七个现有的数据集为MathInstruct的数学解释提供了基础。从建模的角度来看，研究人员训练和评估了约50个独特模型，基线范围从7B到70B，以了解各种输入输出格式和数据源的影响。 结果表明，这些模型在数学通用性方面表现出色。 研究人员在各种数据集上对MAmmoTH进行了广泛测试，从领域内（IND）到领域外（OOD），例如GSM8K、MATH、AQuA-RAT和NumGLUE。这些模型显著提高了开源LLM在数学推理上的效率，并且在OOD数据集上比最先进的方法具有更好的泛化能力。在流行的竞赛级别MATH数据集上，7B模型的结果超过了WizardMath（开源MATH SoTA）的3.5倍（35.2%对10.7%），而34B MAmmoTH-Coder（在Code Llama上进行了微调）的结果超过了GPT-4（使用CoT）。这些模型中的MAmmoTH和MAmmoTH-Coder都显著提高了以前可用的开源模型的准确性。

大型语言模型（LLMs）展现出出色的泛化能力，如上下文学习和思维链推理。为了使LLMs能够遵循自然语言指令并完成现实世界的任务，研究人员一直在探索LLMs的指令调整方法。这是通过对模型进行微调，在各种函数上使用人工注释的提示和反馈或使用公共基准和数据集进行监督微调，以及手动或自动生成的指令进行数据增强。最近的研究强调了人工注释数据质量的重要性。然而，发现注释遵循此类质量数据集的指令很难扩展。 这个解决方案涉及到与LLM的自我对齐，即利用模型来改进自身，并使其响应与期望的行为（如模型编写的反馈、批评、解释等）保持一致。Meta AI的研究人员引入了自我对齐与指令反向翻译。基本思想是通过大型语言模型自动为Web文本标注相应的指令。 自训练方法假设可以访问基础语言模型、一组未标记的示例（例如Web语料库）和少量种子数据。这种方法的第一个关键假设是，这些大量人工编写的文本中的某些部分将对某些用户指令进行黄金生成。第二个假设是我们可以预测这些响应的指令，这可以用来使用高质量的示例对训练一个遵循指令的模型。 整个指令反向翻译可以分为以下步骤： 自我增强：为未标记的数据（即Web语料库）生成“好的指令”，以产生（指令，输出）对的训练数据，用于使用大型语言模型Meta AI（LLaMA）进行指令调整 自我创建：对使用LLaMA生成的数据进行评估 然后，使用改进的模型对LLaMA进行微调，并迭代该过程。结果训练的基于Llama的指令反向翻译模型被称为“Humpback”（因为鲸鱼相对于骆驼具有大规模的特性）。与Claude、Guanaco、Falcon-Instruct、LIMA等现有的非蒸馏模型相比，“Humpback”在Alpaca排行榜上表现出色。 当前方法的缺点是增强数据是从Web语料库中获取的，因此微调的模型可能会强调Web数据的偏见。总之，这种方法保证我们永远不会用尽训练数据，进一步为对大型语言模型进行指令跟随的微调提供了可靠的可扩展方法。未来的工作将通过考虑更大的未标记语料库来进一步扩展这种方法，这可能会带来进一步的收益。