大规模语言模型实用指南
如果你在这里，那意味着你和我一样被不断涌现的信息和炒作的关于大规模语言模型（LLM）的文章所压倒。
本文是我试图帮助你了解大规模语言模型的实际指南，摒弃炒作。这毕竟是一项具有变革性的技术，我相信我们理解它是很重要的，希望能激发你的好奇心，进一步学习并构建出一些有用的东西。
在接下来的章节中，我们将定义LLM是什么以及它们如何工作，当然也会涵盖Transformer架构。我们还会探讨不同的LLM训练方法，并在文章的结尾进行一个实践项目，使用Python和Flan-T5进行情感分析。
让我们开始吧！
LLM和生成型人工智能：它们是同一回事吗？
生成型人工智能是机器学习的一个子集，专注于那些主要用于生成某些内容的模型：文本、图像、视频、代码等。
生成型模型通过对人类创造的大量数据进行训练，学习其中的模式和结构，从而生成新的数据。
生成型模型的例子包括：
- 图像生成：DALL-E、Midjourney
- 代码生成：OpenAI Codex
- 文本生成：GPT-3、Flan-T5、LLaMA
大规模语言模型是生成型人工智能领域的一部分，因为它们接受输入文本并反复预测下一个词，直到输出完成。
然而，随着语言模型的增长，它们能够在自然语言处理中执行其他任务，如摘要、情感分析、命名实体识别、翻译等。
有了这个理解，现在让我们把注意力转向LLM的工作原理。
LLM的工作原理
我们现在拥有大规模语言模型的一个原因是谷歌和多伦多大学在2017年发布了论文《Attention Is All You Need》。