介绍
开放式大语言模型（LLM）的发展显著影响了人工智能研究领域，特别是在开发聊天机器人和类似应用方面。随着像LLaMA这样的模型的发布，关于高效微调、扩展提示处理、检索增强生成（RAG）和量化的研究激增。
例如，LLaMA模型标志着微调和提示上下文化的新时代，为后续模型如MosaicML的MPT、Together AI的RedPajama-INCITE、TII的Falcon和Meta的Llama 2铺平了道路。这些模型各自具有独特的能力，增强了LLM的整体功能和范围。
Mistral AI是一家总部位于巴黎的初创公司，由前Google DeepMind和Meta的员工创立，旗下的第一个产品Mistral 7B名声在外。
Mistral 7B的优势在于其高效性，提供与像Llama 2相似或更强大的功能，但计算资源需求更少。
Mistral 7B Instruct专为教学任务进行了特别调整，在Hugging Face等平台上表现出色，超过了同等大小的其他模型，并与几乎是其两倍参数的模型竞争激烈。
基于此，Hugging Face推出了Zephyr 7B Alpha，展示了经过微调的Mistral 7B确实能够超越显著更大的聊天模型，在某些任务中甚至能够与GPT-4媲美。“Alpha”只是一个开始，随后推出了Zephyr 7B Beta。
本文将探讨Zephyr 7B如何利用更大模型的能力来提高其响应和与人类指令的匹配能力，这一过程通过知识蒸馏技术实现。该方法涉及使用更大、能力更强的“教师”模型的输出来训练更小的“学生”模型，提高其准确性。我们将深入了解Hugging Face的知识蒸馏方法的具体细节。
知识蒸馏
开发像Zephyr-7B这样的模型的关键创新是蒸馏监督微调（dSFT）。这种方法涉及使用更大、更强大的“教师”模型的输出来训练更小、更精简的“学生”模型，提高其准确性。尽管蒸馏在各种任务上改进了开放模型，但与教师模型相比还存在一定的性能差距。
知识蒸馏是一种机器学习方法，其中一种被称为“学生”的紧凑模型被教授复制一个更大、更复杂的“教师”模型的表现。这种技术使学生能够执行以前超出其能力范围的任务，通过传递教师所学到的复杂模式来实现。
知识蒸馏 | 教师-学生模型
学生模型通过教师模型生成的输出概率或特征进行训练，重点是匹配这些输出而不仅仅是最终预测。这使得学生能够学习教师的微妙决策过程，通常导致性能的提高，超过仅使用真实数据进行训练的情况。
在历史上，知识蒸馏已经在Hinton的原始蒸馏网络等模型中得到应用，并在最近的自然语言处理中使用，例如将BERT模型提炼成一个更小、更快的版本的DistilBERT，该版本保留了原始模型的大部分语言理解能力。另一个例子是TinyBERT，它进一步优化了手机或边缘设备的大小和速度。
在Zephyr-7B的情况下，知识蒸馏用于赋予更小的7B参数模型与其较大模型相似的能力。通过这样做，Zephyr-7B在性能和效率之间取得了平衡，使其适用于计算资源有限的环境中，而不会牺牲交互和理解的质量。
在开发Zephyr-7B时，研究人员通过蒸馏的方式解决了将一个小型开放式LLM进行完全对齐的挑战。他们引入了一种称为蒸馏直接偏好优化（dDPO）的方法，该方法使用集成的教师模型的AI反馈作为偏好数据。这种方法不需要人类注释，大大减少了模型训练所需的时间和资源。
构建ZEPHYR-7B
为了验证dDPO，研究人员构建了ZEPHYR-7B，这是Mistral-7B模型的一个对齐版本。该过程包括以下三个步骤：
- 使用UltraChat数据集进行dSFT：通过蒸馏监督微调（dSFT）的方法，可以通过利用更大、更强大的“教师”模型的输出来训练大型语言模型（LLMs）。它从一个经过训练以响应用户提示的原始LLM开始。与传统的监督微调（SFT）使用固定数据集不同，dSFT采用了一种动态方法，模型本身生成指令和回复。这种方法被称为自我指导，它使用教师模型来回答和改进基于回答的指令。该过程从一组表示不同主题的种子提示（x₀₁, x₀₂, …, x₀_J）开始进行迭代细化：对于给定的提示x₀，教师模型生成一个回复y₀，然后根据x₀和y₀抽样一个新的指令x₁。最终数据集C = {(x₁, y₁), …, (x_J, y_J)} 用于微调模型。
- 通过UltraFeedback收集AI反馈数据：这些数据对于改进模型的回答至关重要。在这一步中，模型对各种提示生成回答（如描述如何制作巧克力布朗尼），然后由更高级的模型（如GPT-4）进行评分排名。评分最高的回答（yw）和随机选择的较低得分的回答（yl）形成一个反馈数据集D。
- 应用dDPO：最后一个阶段，蒸馏直接偏好优化（dDPO），通过最大化将优先回答排名较高的概率来改进dSFT模型。这是通过在偏好模型中使用奖励函数rθ(x, y)来实现的，该函数基于最优LLM策略π*和原始策略πdSFT。优化目标被表示为πθ = max π E (x, yw, yl) ∼ D log σ (β log π(yw|x)/πdSFT(yw|x) − β log π(yl|x)/πdSFT(yl|x))，这简化了训练过程，从dSFT版本的模型开始，并依次迭代每个AIF三元组。
Zephyr-7B中使用的方法与InstructGPT中使用的方法相似。
值得注意的是，Zephyr-7B在与人类反馈对齐的70B参数模型的性能上取得了可比的表现。它在学术基准测试和对话能力方面表现出色，突显了偏好学习在模型开发中的效果。有关进一步探索，模型、代码和指令可以在Hugging Face的GitHub仓库找到。
解决意图对齐的挑战
LLMs的一个重要问题是其与人类意图的对齐。以往的模型通常无法产生符合用户偏好的回答，导致回答不准确或不相关。然而，最近的基准测试如MT-Bench和AlpacaEval提供了衡量和改进这一方面的工具，突出了通过人类反馈训练的专有模型相对于仅通过蒸馏训练的模型的卓越性能。
评估方法
Zephyr 7B的评估包括对模型在单个和多轮对话情境中对话能力的严格测试：
- MT-Bench：这个多轮对话基准测试要求模型回答涵盖八个领域的160个问题。每个回答都由GPT-4评分，模型的最终得分反映了两轮问题的平均分数。
- AlpacaEval：在这个单轮对话基准测试中，模型需要回答涵盖各个主题的805个问题。重点是模型的有用性，GPT-4根据回答的评分确定了相对胜率。
此外，Zephyr 7B还在Open LLM Leaderboard上进行了测试，虽然这不是对对话能力的直接评估，但可以提供有关模型的推理和真实性的见解。
将Zephyr 7B与各种开放和专有模型进行了比较，包括使用不同大小和对齐方法的模型。它在MT-Bench和AlpacaEval上建立了新的7B模型基准，并在与更大的模型竞争时表现出色，验证了直接偏好优化（dDPO）在训练中的有效性。
经过精心配置的SFT和DPO训练阶段，涵盖了多个时期和优化性能的学习率和批次大小。最终的Zephyr模型不仅对过度拟合具有抵抗力，而且在处理实际任务和学术基准方面也得到了增强。
数据集和结果
使用的数据集
在Zephyr-7B的开发过程中，使用了两个关键数据集来训练和改进模型，每个数据集都涉及对话生成的不同方面：
UltraChat数据集
- 来源：由GPT-3.5-TURBO生成的对话。
- 内容：包含了30个主题和20种类型的文本材料的147万个多轮对话。
- 改进：该数据集经过了真实大小写启发式处理以纠正语法问题，并应用了过滤器以提高响应的有用性并消除无用的引导性短语。
UltraFeedback数据集
- 来源：由GPT-4评估的提示，根据指导遵循、诚实性和有用性对回复进行评分。
- 内容：包括64000个提示，每个提示有四个回复，由GPT-4评分。
- 二进制偏好：通过选择平均得分最高的回复为“选择”，并从剩余回复中随机选择一个为“拒绝”，以增加多样性并对直接偏好优化（DPO）过程进行挑战。
这两个数据集对于训练Zephyr-7B以理解和生成遵循指导、诚实和有用的类似人类对话至关重要。这些数据集已在Hugging Face Hub上提供，您可以在这里访问。
性能和结果
下图显示了Zephyr 7B在各种任务类别中与其他模型（如GPT-3.5-turbo、Claude 1、GPT-4和Llama-2-70b-chat）的性能。类别可能包括写作、人文、角色扮演、推理、STEM、提取、编码和数学等方面。
从图表中，我们可以推断出Zephyr 7B在哪些领域表现出色，以及哪些领域可能需要进一步改进。例如，如果Zephyr在写作轴上的线条比其他模型更远，这表明Zephyr在生成书面内容方面特别强。相反，如果线条在数学轴上更接近中心，可能表明解决数学问题的相对弱点。
雷达图可帮助我们确定Zephyr 7B的优势和劣势，为与GPT-4等更大模型以及Llama-2-70b-chat等专业模型相比较提供了视觉表示。
模型性能雷达图
比较各种语言模型在MT-Bench和AlpacaEval上的两个基准测试。模型根据其大小、对齐方法（例如用于蒸馏监督微调的dSFT或用于蒸馏直接偏好优化的dDPO）以及性能得分进行评估。在两个基准测试中，Zephyr的得分都很高，表明其在生成对齐回复方面的效果有效。
MT-Bench和AlpacaEval
结论
总之，Zephyr-7B的开发表明，可以在不依赖基于采样的方法的情况下，将大型语言模型（LLM）的对话能力与较小模型进行对齐和提取。通过使用AI反馈进行直接偏好优化（DPO），Zephyr-7B充分利用了Mistral-7B的强大基础，为7B参数对话模型设定了新的基准，展示了较小的开源模型能够有效理解和回应用户意图的能力。
然而，这项研究并非没有局限性。依赖GPT-4作为基准评估者引入了对从其中提取的模型的偏见，可能偏向于更准确的回答。此外，将这种方法推广到更大的模型（例如LLAMA2-70B）以及其对性能提升的影响仍需要进一步研究。这些限制突显了AI社区对持续创新和开发公正评估方法的需求。
超越这项研究，显而易见的是，较小模型能够达到与较大对应模型相同的水平可以使AI民主化，使其在各种应用中更具可访问性和效率。Zephyr-7B的成功鼓励对开源模型的进一步探索，这可以通过促进协作研究和开发来加速AI的进展。