揭秘语言模型中的逆向缩放

越大并不一定越好

然而，展示逆向缩放的任务并不总是容易找到。 — 研究人员正在尝试通过识别不同的例子并设法解决其原因，以更好地理解逆向缩放。

来源：huggingface.co/inverse-scaling

在人工智能世界中，我们习惯于听到“越大越好”的说法。像OpenAI的ChatGPT和Google的Bard这样的大型语言模型（LLMs）通过不断增加体积生成更复杂的答案来证明了这一点。这些模型甚至可以处理超越其原始训练范围的数学和编码等复杂任务。

但是出现了一个奇异现象：随着模型变得越来越大，LLMs实际上在执行某些任务时效果不佳。这种被称为逆向缩放的现象让研究人员困惑不已。牛津大学的机器学习博士候选人Ameya Prabhu说：“与其他问题不同，规模不会解决这个问题。”

为了更好地理解这种逆向缩放，研究人员正在寻找不同的例子并调查其原因。这似乎与LLMs的训练方式以及它们专注于预测序列中的下一个单词有关。随着语言模型在真实世界任务中的应用越来越广泛，揭示它们的弱点可以帮助我们减少风险并提高性能。

🎯 寻找例子的探索

找到展示逆向缩放的例子并不容易。事实上，研究人员在寻找此类任务以进行深入研究时遇到了困难。为了引起社区的参与，他们发起了“逆向缩放奖”竞赛，设有10万美元的大奖。不幸的是，没有提交的作品符合顶级奖的要求，但有11个作品每个获得了5000美元。

通过这些任务，Prabhu和他的团队确定了逆向缩放的四个原因：
1. 分散注意力的任务，LLM给出了不正确的答案，因为它会捕捉到相似但无关的信息。
2. 伪相关性，模型通过找到不相关示例之间的联系而生成不正确的答案。
3. 不想要的模仿训练数据，导致错误信息的重复。
4. 无法在训练期间覆盖已学到的偏见，即使提示要这样做。

🧠 扩大规模，但不总能解决问题

逆向缩放竞赛的结果促使进一步研究，从而发现了U型缩放。这一现象表明，更大的模型在某些任务上可能表现更差，直到达到特定的规模阈值为止。进一步扩大模型被提议作为某些问题的潜在解决方案。然而，Prabhu警告说，扩大并不总是缓解逆向缩放，因为U型缩放只在特定情况下被观察到。

📚 探索语言模型的局限性

研究的另一个方向关注语言模型处理“most”和“few”等量化词汇的能力，这对句子的含义有重大影响。大型语言模型显示出忽视这些词汇的上下文特定含义的倾向。正如一个研究小组发现的那样，随着模型大小的增加，模型在涉及量化器的任务中性能实际上会变差，这进一步证明了逆向缩放。

逆向缩放暗示了LLMs可能不像它们表面上看起来那样可靠和具有普适性。研究人员警告不要盲目相信它们的输出，特别是随着语言模型的后续发展，这些模型往往被视为基础模型，由于其固有的不稳定性，它们面临着独特的挑战。

🌟 超越规模

虽然规模无疑在语言模型中非常重要，但仅仅专注于规模可能过于短视。加州大学圣地亚哥分校的研究生James Michaelov强调了对不同模型组件（如参数和训练数据）更细致的理解的必要性。通过深入研究这些细节，我们可以更深入地了解驱动LLMs性能的因素。

因此，虽然大型语言模型以其能力使我们惊叹，但承认它们的局限性非常重要。通过更好地理解逆向缩放及其原因，我们为构建更健壮和可信赖的语言模型铺平了道路。

问答内容：

问：什么是语言模型中的逆向缩放？逆向缩放指的是随着语言模型的大小增加，更大的语言模型在执行某些任务时效果变差的现象。与大多数可以通过扩大模型规模来解决的问题不同，逆向缩放带来了一种随着模型大小增加而加剧的独特挑战。

问：逆比例缩放的一些原因是什么？ 研究人员确定了逆比例缩放的几个原因，包括分心任务，虚假相关性，对训练数据的不必要模仿以及无法在训练过程中覆盖已学到的偏见。

问：逆比例缩放通常对语言模型的普通任务有影响还是特定任务有影响？相比于语言模型的普通任务，逆比例缩放通常对特定任务有影响。某些任务可能会显示出一种U型缩放模式，即性能一开始变差，但随着模型规模的增加而逐渐提高。

问：逆比例缩放可能如何影响在实际应用中使用语言模型？逆比例缩放突显了语言模型的局限性，并提示我们不应立即信任它们的输出。理解逆比例缩放是至关重要的，特别是因为语言模型在从工业到政府等各种应用中被广泛使用。

参考资料：

对于语言模型中的逆比例缩放概念感到惊讶吗？在下方的评论中分享你的想法！同时，别忘了通过在你最喜欢的社交媒体平台上分享本文，传播关于令人着迷的人工智能世界的知识。🚀