大型语言模型（LLMs）展现出出色的泛化能力，如上下文学习和思维链推理。为了使LLMs能够遵循自然语言指令并完成现实世界的任务，研究人员一直在探索LLMs的指令调整方法。这是通过对模型进行微调，在各种函数上使用人工注释的提示和反馈或使用公共基准和数据集进行监督微调，以及手动或自动生成的指令进行数据增强。最近的研究强调了人工注释数据质量的重要性。然而，发现注释遵循此类质量数据集的指令很难扩展。
这个解决方案涉及到与LLM的自我对齐，即利用模型来改进自身，并使其响应与期望的行为（如模型编写的反馈、批评、解释等）保持一致。Meta AI的研究人员引入了自我对齐与指令反向翻译。基本思想是通过大型语言模型自动为Web文本标注相应的指令。
自训练方法假设可以访问基础语言模型、一组未标记的示例（例如Web语料库）和少量种子数据。这种方法的第一个关键假设是，这些大量人工编写的文本中的某些部分将对某些用户指令进行黄金生成。第二个假设是我们可以预测这些响应的指令，这可以用来使用高质量的示例对训练一个遵循指令的模型。
整个指令反向翻译可以分为以下步骤：
- 自我增强：为未标记的数据（即Web语料库）生成“好的指令”，以产生（指令，输出）对的训练数据，用于使用大型语言模型Meta AI（LLaMA）进行指令调整
- 自我创建：对使用LLaMA生成的数据进行评估
然后，使用改进的模型对LLaMA进行微调，并迭代该过程。结果训练的基于Llama的指令反向翻译模型被称为“Humpback”（因为鲸鱼相对于骆驼具有大规模的特性）。与Claude、Guanaco、Falcon-Instruct、LIMA等现有的非蒸馏模型相比，“Humpback”在Alpaca排行榜上表现出色。
当前方法的缺点是增强数据是从Web语料库中获取的，因此微调的模型可能会强调Web数据的偏见。总之，这种方法保证我们永远不会用尽训练数据，进一步为对大型语言模型进行指令跟随的微调提供了可靠的可扩展方法。未来的工作将通过考虑更大的未标记语料库来进一步扩展这种方法，这可能会带来进一步的收益。