基于Transformer的大型语言模型（LLMs），如GPT、PaLM和LLaMA，已广泛用于各种实际应用中。这些模型已应用于各种任务，包括文本生成、翻译和自然语言解释。然而，这些模型的高推理成本，特别是在对低延迟要求很高的情况下，是一个主要关注点。这些模型使用的自回归解码方法是高推理成本的主要原因。由于自回归解码过程中每个输出令牌是顺序生成的，因此存在大量的Transformer调用。每个Transformer调用的内存带宽受限，导致计算效率低下和执行时间长。
为了加速大型语言模型（LLMs）的推理过程，最近的一项研究引入了一种称为自我推测解码的独特方法，该方法不需要辅助模型。这种方法解决了快速生成推理结果并保持输出质量的问题。它的特点是一个由起草和验证组成的两阶段过程。
- 起草阶段 – 起草阶段的目标是更快地生成起草令牌，即使它们的质量略低于使用传统自回归方法生成的令牌。为了实现这一目标，该方法在起草过程中绕过了一些中间层。LLMs中的这些中间层通常会改进输出，但它们在推理过程中也会占用大量时间和资源。
- 验证阶段 – 该技术在起草阶段生成起草输出令牌，然后使用原始未经修改的LLM在单个前向传递中验证它们。使用传统的自回归解码技术，LLM会产生相同的最终结果，这由验证步骤确保。因此，即使起草阶段更快地生成了令牌，最终产品的质量也得到了保证。
自我推测解码不需要进一步的神经网络训练，这是它的主要优点之一。为了实现更快的推理，现有方法常常需要训练辅助模型或对LLM的架构进行重大改变，这可能具有挑战性且资源密集。而自我推测解码是一种“即插即用”的方法，可以在现有LLMs上添加而无需额外的训练或模型修改。
研究为自我推测解码的有效性提供了实证支持。基于LLaMA-2及其改进模型的基准结果显示，自我推测解码方法比传统的自回归方法可以更快地解码数据高达1.73倍。这具有重要的优势，使推理过程大约快两倍，同时保持输出质量，在延迟是一个问题的情况下非常重要。
总之，自我推测解码是一种革命性的方法，改善了大型语言模型推理信息的方式。它通过建立起草和验证的两步过程，选择在起草阶段跳过哪些层以更快地生成令牌，并在验证阶段验证输出质量来实现这一目标。该方法加速了LLM的推理过程，而不会增加任何额外的内存负担或神经网络的训练要求。