了解Transformer架构的细节
2017年，Google的作者发表了一篇名为Attention is All You Need的论文，其中介绍了Transformer架构。这种新的架构在语言翻译任务中取得了空前的成功，该论文很快成为该领域内每个人必读的内容。和其他人一样，当我第一次阅读这篇论文时，我能够看到其创新思想的价值，但我没有意识到这篇论文对AI更广泛范畴下的其他领域会产生多么具有颠覆性的影响。几年内，研究人员将Transformer架构适应到了许多除语言翻译之外的任务中，包括图像分类、图像生成和蛋白质折叠问题。特别是，Transformer架构革命了文本生成，并为GPT模型铺平了道路，也为我们当前在AI领域所经历的指数增长奠定了基础。
考虑到Transformer模型如今在工业界和学术界的普遍应用，了解它们工作原理的细节对于每个AI从业者来说都是一项重要的技能。本文主要关注GPT模型的架构，它是使用原始Transformer架构的一个子集构建的，但也会在最后介绍原始的Transformer。对于模型代码，我将从我找到的最清晰的原始Transformer实现开始：哈佛大学的Annotated Transformer。我将保留与GPT Transformer相关的部分，并删除其他不相关的部分。在此过程中，我将尽量避免对代码进行不必要的修改，以便您可以轻松地将GPT版本的代码与原始代码进行比较，并理解它们之间的区别。
本文适用于有经验的数据科学家和机器学习工程师。特别是，我假设您对张量代数非常熟悉，已经从头开始实现过神经网络，并且对Python非常熟悉。此外，尽管我已经尽力使本文自成一体，但如果您已经阅读过我之前关于GPT模型工作原理的文章，那么您将更容易理解本文。
本文中的代码可在GitHub上的相关项目中找到。