近几个月，由于大规模语言模型（LLMs）的广泛公开部署，倡导者、政治家和来自各个学科的学者都表现出了极大的兴趣和活动。虽然这种关注是有道理的，因为新技术带来了紧迫的问题，但它也可能忽略了一些关键因素。
最近，大规模语言模型以及基于它们构建的产品，例如ChatGPT，引起了来自记者、政策制定者和跨学科学者的广泛关注。然而，由于这种技术在很多方面都是出人意料的，简明扼要的解释很容易忽略关键细节。
这其中有八个意想不到的方面：
- LLMs的能力将随着更多的投资而可预测地增加，即使没有刻意的创新。
LLMs的研究和投资的最近增加可以在很大程度上归因于规模定律的结果。当研究人员增加将来模型中输入的数据量、模型的大小（以参数为单位）以及用于训练它们的计算量时，规模定律允许他们精确地预测这些模型将具有多么有能力（以FLOP为单位）的某些粗略但相关的指标。因此，他们可能做出一些关键的设计决策，例如在特定预算内的最佳模型大小，而无需进行大量昂贵的实验。
在当代人工智能研究的背景下，预测的准确率是前所未有的。由于它使研发团队能够提供数百万美元的模型培训计划，并确信这些项目将成功开发出经济上有益的系统，因此它也是推动投资的有力工具。
尽管最先进的LLMs的训练方法尚未公开，但最近的深入报告暗示这些系统的基本架构甚至没有改变。
- 随着资源不断注入LLMs，常常会出现意想不到的关键行为。
在大多数情况下，模型正确预测未完成文本的延续能力（根据其预训练测试损失衡量）只能通过缩放规则来预测。
尽管这个指标平均上与模型在许多实际活动中的实用性相关，但很难预测模型何时开始展示特定的才能或成为执行特定任务的能力。
更具体地说，GPT-3的能力执行少量样本学习——也就是在单次交互中从少量示例中学习新任务——以及思维链推理——也就是在请求时写出其推理，如同学生在数学考试上所做的那样，并展示出更好的表现——使其成为第一个现代LLM。
未来的LLMs可能会开发出所需的任何功能，并且很少有被普遍接受的界限。
然而，LLMs所取得的进展有时比专家预期的要少。
- LLMs经常获取并使用外部世界的表示。
越来越多的证据表明，LLMs建立了世界的内部表示，使它们能够以对文本的特定语言形式不敏感的抽象层次进行推理。这种现象的证据在最大和最新的模型中最为强烈，因此应该预计在更大规模的系统中，这种现象将变得更加强大。
然而，当前的LLMs需要更加有效地做到这一点。
以下发现基于各种实验技术和理论模型，支持这种说法。
- 模型的内部颜色表示与人类感知颜色的实证发现高度一致。
- 模型可以推断作者的知识和信念，预测文档的未来走向。
- 故事用于告诉模型，然后模型会改变其对故事中所代表的对象的特征和位置的内部表示。
- 有时，模型可以提供如何在纸上描绘奇怪事物的信息。
- 许多常识推理测试都被模型通过了，即使是像Winograd Schema Challenge这样的测试，也没有任何文本提示答案。
这些发现反驳了传统智能模型仅仅是统计下一个词的预测器，并且无法推广其学习或推理超越文本的普遍观点。
- 目前还没有有效的方法来影响LLMs的行为。
建立一种基于语言的LLM是昂贵的，因为需要训练神经网络来预测人类编写的随机文本的未来，这需要耗费时间和精力。然而，即使是为了创建一个通用模型来遵循指令而不试图进行任务专业化，也需要对这样的系统进行修改或引导。
提示的平凡语言模型涉及构造一个未完成的短语。
研究人员正在训练一个模型来模仿专业水平的人类技能演示，通过监督来实现。通过强化学习，可以逐渐根据人类测试员和用户的意见来改变模型行为的强度。
- LLMs的内部运作仍然需要专家们完全理解。
为了发挥作用，最先进的LLMs依赖于人工神经网络，这些网络仅松散地模仿人类神经元，并且其内部组件是通过数字激活的。
在这个意义上，目前神经科学研究这种系统的方法仍然不足：尽管研究人员对确定模型是否准确地表示某些类型的数据（如第3节讨论的颜色结果）有一些基本的技术，但到2023年初，他们还缺乏一种方法，可以充分描述输入模型输出的信息、推理和目标。
无论是模型生成的解释还是那些能够在自然语言中刺激推理的解释都可能是一致性不准确的，尽管它们看起来很有前途。
- LLM的性能不受人类在某个任务上的限制。
即使LLMs被教导模仿人类的写作活动，它们在许多领域可能最终超越人类。这有两个因素：首先，它们有更多的信息需要学习、记忆和潜在合成，因为它们是在比任何人都看到的数据上进行训练的。此外，在部署之前，它们经常通过强化学习进行训练，这种学习教它们生成人类发现有益的回应而不需要人类展示这种行为。这类似于在围棋等游戏中实现超人类水平的方法。
例如，LLMs在其预训练任务中预测某些种子文本后最可能出现的单词，似乎比人类准确得多。此外，人类可以教LLMs比自己更准确地完成任务。
- LLMs不必反映其作者或在线内容所传达的价值观。
简单预训练的LLM的输出将非常类似于输入文本。这涉及到文本价值上的一致性：模型对价值主题的明确评论和其写作背后的隐含偏见反映了其训练数据。然而，这些设置大多在开发人员手中，特别是一旦对平凡预训练的LLM进行了额外提示和训练，使其准备好产品。部署的LLM的价值观不必是其训练数据中使用的价值观的加权平均值。因此，这些模型传达的价值观不需要与构建它们的特定人员和组织的重要性相匹配，并且可以接受外部输入和审查。
- 与LLMs的短暂接触经常是欺骗性的。
当今许多使用的LLMs通常可以被指示，尽管这种能力需要内置到模型中，而不是用劣质工具进行添加。提示工程的不断发展是基于这样一个观察：当被要求完成任务时，许多模型最初会失败，但稍微重新措辞或重新组织请求后就会成功。这部分是模型可以对其文档的细节做出独特的回应的原因之一。
这些意外的失败显示，指挥语言模型执行命令并不是百分之百可靠的。当模型被正确提示执行任务时，它经常在各种测试场景下表现良好。但这并不是因为一个人在某一次失败中缺乏知识或能力就可以得出结论。
即使我们知道一个LLM无法完成给定任务，这一事实本身并不能证明其他LLMs不能做同样的事情。
然而，看到LLM成功地完成任务一次以上就足以证明它能够一直做到这一点，特别是如果该实例是随机选择的，只是为了进行演示。
LLMs可以从其训练数据中记忆某些例子或解决任务的策略，而不是内化使它们能够稳健地完成这些任务的推理过程。
限制
- 目前的系统主要问题是幻觉，即LLM生成似是而非的错误陈述。这严重限制了它们的可负责任使用方式。
- 由于新策略利用了模型在被问及这些不良行为时通常能够识别出来的事实，模型输出中的明显偏见和有害性已经大大减少。虽然这些保障可能不是万无一失的，但它们应该随着时间的推移减少这些不良习惯的频率和影响。
- 随着LLM改进其对世界的内部模型以及将这些模型应用于实际问题的能力，它们将更好地应对越来越多样化的活动，例如开发和实施创造性策略，以最大化现实世界中的结果。
- 基于开发者的经济动机、价值观或个性对未来LLM能力的预测可能会失败，因为许多重要的LLM能力具有突现和不可预测性。
- 许多可信的科学研究表明，即使面对相对简单的语言和常识思考测试，最近的LLM也无法完成。
主要特点：
- 不需要额外费用就更加强大
- 没有可靠的方法
- 学习全球模型
- 在更多方面表现优于人类
- 没有可靠的影响人们行为的方法。
- 可能会出现不可预测的行为。
- 短暂的对话可能会欺骗人们。