指令微调是在小规模筛选指令数据集上对LLM进行训练的过程，从而使模型在基于指令的任务上表现出较高的性能。它具有许多优点，例如更好的可解释性、减少偏差和增强任务性能。因此，指令微调对于发挥LLM的全部潜力至关重要，并因此变得必不可少，以改善过程的结果。
本研究论文的作者们提出了一种名为NEFTune（Noisy Embedding Instruction Fine Tuning）的新方法，以改善基于指令任务的模型性能。他们证明通过在微调的前向传递过程中向训练数据的嵌入向量添加随机噪声，可以显著提高模型的性能，而无需额外的计算资源或附加数据。NEFTune在保持事实问答性能的同时，使LLM在对话任务中的性能出乎意料地提高。
研究人员主要使用LLaMA-1、LLaMA-2和OPT-6.7B等7B参数LLM以及Alpaca、ShareGPT等微调数据集进行了大部分实验。使用AplacaEval数据集评估结果，计算胜率-评估者GPT-4确定的LLM优于OpenAI的Text-Davinci-003模型的比率。
结果显示，使用NEFT对这些模型进行训练可以显著提高对话能力和答案质量。在使用噪声嵌入进行微调的情况下，LLaMA-2 7B的性能从29.8%大幅提高至64.7%，所有模型的平均性能提高约15%。除了使用LLM评估性能外，研究人员还使用了人工标注者。NEFT在88个事件中被优先选择，22个情况为平局，对应NEFT的胜率约为74%。
在其中一项实验中，LLaMA-2在Alpaca上进行了有和无NEFT的训练，并被询问了关于量子计算的提示。第二阶段，即使用噪声嵌入，回答更加流利，更清晰地解释了超决和量子纠缠等复杂概念。
研究人员假设在训练时引入噪声到嵌入中，模型变得不那么容易过拟合。模型不再专注于精确的信息分布，如格式细节、文本长度和准确措辞，而是提供了包含在预训练基础模型中的知识和行为的答案。
鉴于指令微调的重要性，多年来研究人员引入了许多模型和方法。NEFT不是第一个使用噪声嵌入来提高性能的方法。然而，它能够显著提高LLM在对话任务中的性能，提供更详细和清晰的解释，例如量子计算等复杂主题。最重要的是，该方法不需要额外的计算资源，本文的作者将其称为微调LLM的“免费午餐”。NEFTune有潜力被广泛应用于未来的LLM开发，使其成为增强LLM在各种现实任务中能力的有希望的工具。