开放式语言模型
为什么每个人都在谈论羊驼、羊马、猎鹰和其他动物
除非你过去一年一直生活在石头下面，否则你一定见证了ChatGPT的革命以及每个人似乎都无法停止使用它。在本文中，我们将探讨其替代品，跳入开源模型的世界。这是系列文章《开放式语言模型》中的第一篇，对于希望入门并了解开源大型语言模型以及如何使用它们的人非常有帮助。
目录
— 为什么我们需要开源模型？— 越大越好？训练大型语言模型— 微调大型语言模型— 最佳开源大型语言模型— 在计算机上运行大型语言模型— 限制— 结论
什么是大型语言模型？
大型语言模型（LLM）是一种能够理解和生成人类语言的人工智能。在核心部分，有一种被称为Transformer的神经网络类型，它通过预测句子中下一个词来工作。大型一词描述了这些模型广泛的特性，因为它们可以具有数十亿甚至数万亿个参数。它们的不同之处在于它们能够专门应用于特定任务，如代码生成或翻译，或者应用于通用的遵循指令的聊天机器人。这些模型的突破性方面之一是它们能够实现零样本学习和少样本学习，因为它们展示了学习未经明确训练的任务的前所未有的能力。[1]
为什么我们需要开源模型？
假设你使用GPT API创建了一个快速获得关注的创新应用。一切都很顺利，直到OpenAI改变了他们的行动方针。他们可能停止服务，提高成本，甚至降低他们的模型能力，这已经在发生。[2]目前，你唯一的解决方案就是调整…