也许不是…
如果你在过去几个月里使用过任何社交媒体平台，我相信你一定听说过ChatGPT、Google Bard、Microsoft Bing以及一大堆新的语言模型。有人可以争论说，所有这些新模型的写作能力都比你我好，它们的英语肯定比我好得多 🥲 每隔几年，总有人发明出一些疯狂的东西，让你完全重新考虑可能性。在本文中，我们将讨论一种发明，这种发明正震动着全世界的每个人 —— 是的，你猜对了 —— ChatGPT。
随着我们越来越依赖人工智能为我们做事情、为我们做决策，自然而然地会问人工智能是否真正具有智能，即它对语言的理解是否与我们自己的理解相似，或者说它是否根本不同？
为了弄清楚这一切，我们首先要了解生成预训练转换器（GPT）和ChatGPT是如何工作的，然后讨论人工智能具有智能意味着什么。
理解GPT模型
GPT模型最早由OpenAI在他们的论文《通过生成式预训练改进语言理解》中提出，它使用无监督的预训练，然后在各种语言任务上进行有监督的微调。
该模型的架构基于Transformer，它在机器翻译和文档生成等任务中表现出强大的性能。这种模型架构最早在Google研究人员的论文《Attention is all you need》中提出。与循环神经网络和卷积神经网络相比，它为处理文本中的长期依赖关系提供了有组织的记忆，从而在各种任务中实现更好的性能。
这是一个预测游戏
你可以将GPT模型看作是一个擅长猜测下一个词的机器。例如，如果你给它一个短语“Instead of turning right, she turns…”，GPT可能会预测“left”或“back”或其他词作为下一个词。它是如何学到这个的呢？当你用大量的文本数据训练一个模型时，它会学习如何…