大型语言模型(LLMs)正在通过展示惊人的文本生成能力和执行各种语言任务而改变深度学习。获得高质量的与人类相关的数据是一个重大障碍，即使使用人类收集的数据进行监督微调(SFT)也能进一步提高它们在感兴趣的任务上的性能。这对需要大量资源和专业知识的复杂问题解决任务尤为困难。为了克服这一障碍，模型生成的合成数据在其质量能够得到保证的情况下被认为是一种可扩展且经济实惠的解决方案。
来自Google Deepmind和Mila的研究人员在这项研究中研究了一个更加简单的场景，其中外部的标量反馈信号作为每个生成样本的质量指标，即使LLMs能够自行评估生成的数据。研究团队提出了一种简单而有效的语言模型自训练技术，只涉及两个技能：1) 使用模型创建样本，2) 使用评分机制评估这些样本。这种方法使我们能够研究在模型创建的数据上进行训练。研究团队使用了加强自训练的命名方式，并将这种技术称为ReST𝐃𝑀，以实现统一性和清晰度。研究团队演示了如何将ReST𝐃𝑀视为使用期望最大化进行强化学习。
具体而言，ReST𝐃𝑀在以下方式上在期望和最大化阶段之间切换：1. 生成 (E-step)：对于每个输入背景，语言模型产生多个输出样本。然后，研究团队通过使用二进制奖励来筛选这些样本，以收集训练数据集。2. 改进 (M-step)：使用前面生成阶段的训练数据集来对原始语言模型进行监督和微调。然后，下一个生成阶段使用调整后的模型。ReST𝐃𝑀及其变体已经证明在许多领域的语言模型中提高了效能，例如机器翻译、语义解析和偏好对齐。
ReST𝐃𝑀主要在以前关于非常小型语言模型(最多7B参数)的研究中使用，对于更大的模型而言，其可扩展性有限。他们的工作旨在通过比较模型创建的合成数据的可扩展性和有效性与人类提供的数据在两个具有挑战性但研究不足的领域中: 代码生成 (APPS) 和具有竞争水平的数学问题解决 (MATH)。他们的研究结果表明，将ReST𝐃𝑀应用于不同规模的PaLM 2模型可以显著改善数学推理和代码生成能力。
令人惊讶的是，通过模型生成的人工数据进行改进的模型在性能上大幅优于以人类提供的数据训练的模型。此外，经过几个ReST𝐃𝑀周期后，改进效果会减弱，表明可能会过度拟合数量有限的训练案例。此外，使用ReST𝐃𝑀进行优化的模型增强了 pass@k 和多数投票能力。最后，这些改进的模型在类似但不同的基准测试中展现出增强的性能，包括Big-Bench Hard任务、编码(HumanEval)和算术问题(GSM8K和Hungarian HS决赛)。最后，还进行了消融研究，以调查训练问题、迭代次数和模型生成解决方案数量对ReST𝐸𝑀微调的影响。