GPT-直观而全面地解释

自然语言处理 | 机器学习 | Chat GPT

在本文中，我们将探索OpenAI GPT模型的演进。我们将简要介绍变压器，描述导致第一个GPT模型的变压器的变种，然后我们将介绍GPT1、GPT2、GPT3和GPT4，建立对最新技术的完整的概念性了解。

这对谁有用？对自然语言处理（NLP）或尖端人工智能进展感兴趣的任何人。

这篇文章有多高级？这不是一篇复杂的文章，主要是概念性的。尽管如此，有很多概念，所以对于经验较少的数据科学家可能会有些困扰。

先决条件：本文中我将简要介绍变压器，但如果需要更多信息，您可以参考我专门的文章。

向数据科学前沿

在介绍GPT之前，我想简要介绍一下变压器。从最基本的意义上讲，变压器是一种编码器-解码器风格的模型。

<img alt="一个在翻译任务中工作的变压器。输入（我是经理）被压缩为一种抽象表示，编码整个输入的含义。解码器通过反复馈送自己来构造输出。参考自我关于变压器的文章

编码器将输入转换为一个抽象表示，解码器使用该表示来迭代生成输出。

<img alt="编码器输出与解码器的高层表示。解码器对输出的每个递归循环参考编码输入。参考自我关于变压器的文章

编码器和解码器都使用利用多头自我注意力机制创建的文本的抽象表示。