Press "Enter" to skip to content

沙滩阅读:预训练模型的简史

踏入一个充满奇迹和惊叹的世界,我们将揭示人工智能不可思议的旅程。从1950年代第一个神经网络的诞生,到像GPT这样的强大语言模型的崛起,让我们一起在AI进化的惊险之旅中共度时光。

由OpenAI的Dall-E生成的带有多彩伞的海滩图片

从前,在我们银河系的不远古时代,人工智能(AI)的概念在杰出的科学家和先见之士的脑海中萌芽。回到1950年代,AI宝宝的诞生以心理学家弗兰克·罗森布拉特(1958年)创建的第一个神经网络模型为标志。他把他的宝宝称为感知器,这个小男孩在IBM 704上以模拟的形式运行。虽然按照今天的标准来看,这个模型还很原始,但它为AI即将踏上的奇妙旅程奠定了基础。

这个故事不完整,如果不提到AI两次寒冬的话。第一个寒冬是因为当时的网络无法扩展,第二个寒冬涉及到符号AI,随着其学习能力的增强而变得难以管理,最终把养父母逼到了绝境。要防止这项技术陷入我们银河系中心的巨大黑洞,需要少数研究人员的耐心、坚韧、斗志和智慧。

几十年后,互联网的崛起永远改变了世界。它带来的互联互通促进了信息的无缝共享,从而推动了人工智能研究。随着数据的广泛和普遍可用性以及计算能力的提高,AI系统开始取得显著的进展。互联网在创造一个数据丰富的环境方面发挥了关键作用,推动了机器学习的进步。

在1976年,Bozinovski和Fulgosi引入了神经网络中的革命性转移学习概念。转移学习是一种机器学习方法,其中一个为第一个学习任务开发的学习模型被重复使用作为第二个学习任务中学习模型的起点,重点是存储在解决一个问题时获得的知识,并将其应用于…

Leave a Reply

Your email address will not be published. Required fields are marked *