大型语言模型（LLMs）是人工智能（AI）和深度学习领域的最新创新。像GPT、PaLM、LLaMa等等这些知名的LLMs在生成内容方面展示了令人难以置信的潜力。从问答和文本摘要到语言翻译和代码补全，这些模型可以做很多事情。包括ChatGPT在内的这些模型都经过了对广阔无监督文本语料库的广泛预训练。然而，最近的研究表明，细调整的常用做法可能并不像之前认为的那样必要。
对齐调整，即改进基本LLMs以用作开放领域AI助手的过程，已被接受为行业标准。这包括人工反馈强化学习（RLHF）和监督微调（SFT）。这一标准在一项名为LIMA的研究中受到了质疑，该研究表明，仅仅使用1000个样本进行SFT可能就足以实现有意义的对齐性能。
LIMA提出的表面对齐假设认为，对齐调整不是根本改变基本LLMs的行为，而是训练它们选择适用于用户参与的特定数据格式。这表明，只需几个样例就可以在监督微调下产生高质量的对齐模型。
由于至今还没有足够的研究为表面对齐理论提供坚实的支持，来自艾伦人工智能研究所和华盛顿大学的研究人员最近在一篇论文中讨论了对齐调整的广泛应用技术，以将基本LLMs转化为实用的开放领域AI助手。通过人工反馈的强化学习完成了偏好调整，并通过监督微调完成了指令学习。
该团队通过检查基本LLMs与其对齐的版本（如Llama-2和Llama-2-chat）之间的令牌分布变化，以研究对齐调整的影响。他们发现基本LLMs和其对齐版本在大多数位置的解码中共享排名靠前的令牌，并表现出几乎相同的性能。对话标记和安全声明是最受分布波动影响的样式令牌的例子。这项研究为假设提供了有说服力的证据，即对齐调整主要集中于融入AI助手的语言风格，而基本LLMs提供了响应用户查询所需的信息。
该团队还针对这些发现提出了一个研究课题：在没有SFT或RLHF的情况下，基本LLMs可以进行多大程度的对齐调整？他们提出了URIAL（未调整的LLMs与重新设计的上下文对齐），这是一种不需要调整的对齐技术。只需三个连续的样式示例和一个系统提示，URIAL通过基本LLMs的上下文学习（ICL）单独完成有效的对齐。
在一系列称为just-eval-instruct的实例中，该团队提供了详细易懂的分析，显示基于URIAL的基本LLMs的性能可以与或优于基于SFT（Mistral-7b-Instruct）或SFT+RLHF（Llama-2-70b-chat）进行对齐的LLMs。结果表明，有意识的提示和上下文学习可以显著缩小无调整与基于调整的对齐策略之间的差距。
总之，评估结果突出了浅层对齐调整，并表明它主要涉及采用语言风格并依赖于基本LLMs的现有知识。