大型语言模型（LLM）在最近展现出了一些令人难以置信的能力。著名的ChatGPT是基于GPT的转换器结构构建的，因其模仿人类特点的能力而广受欢迎。从问答和文本摘要到内容生成和语言翻译，它具有许多用途。由于它们的极高人气，这些模型在训练期间真正学到了什么是值得质疑的。
根据一种理论，LLM在察觉和预测数据中的模式和相关性方面非常出色，但在理解产生数据的基本机制方面则存在不足。从原则上讲，它们类似于非常有能力的统计引擎，尽管实际上可能并没有理解力。另一种理论认为，LLM学习相关性，并且构建了更加简洁、连贯和可理解的底层训练数据生成过程模型。
最近，两位来自麻省理工学院的研究人员对大型语言模型进行了研究，以更好地了解它们的学习方式。研究特别探讨了这些模型是否真正构建了一个连贯的底层数据生成模型，通常称为“世界模型”，或者它们只是记忆了统计模式。
研究人员使用探测测试来分析一系列LLM Llama-2模型，创建了涵盖不同时空尺度的六个数据集，包括地名、事件以及相关的空间或时间坐标。这些数据库中的位置涵盖了整个世界，包括美国纽约市、艺术和娱乐作品首次发布的日期，以及新闻头条首次发布的日期。他们对LLM层的内部激活使用线性回归探测来研究LLM是否创建了空间和时间的表示。这些探测预测了与每个数据集名称对应的真实世界中的精确位置或时间。
研究表明，LLM在不同尺度上学习了空间和时间的线性表示。这意味着模型以结构化和有序的方式学习了空间和时间的相关性和模式。它们以一种有条不紊的方式理解和把握了空间和时间中的关系和模式，而不仅仅是记忆数据项。研究还发现，LLM的表示对指令或提示的变化是具有弹性的。即使信息提供的方式不同，模型仍然始终展示了对空间和时间信息的良好理解和表示。
根据该研究，这些表示并不仅局限于特定的实体类别。城市、地标、历史人物、艺术品或新闻头条在空间和时间上均被LLM统一地表示，由此可以推断出模型对这些维度产生了综合性的理解。研究人员甚至发现了特定的LLM神经元，他们称之为“空间神经元”和“时间神经元”。这些神经元准确地表示了空间和时间坐标，证明了模型中存在专门处理和表示空间和时间的组件。
总之，这项研究的结果强化了当代LLM超越机械记忆统计数据的观点，而是学习了关于重要维度（如空间和时间）的结构化和有意义的信息。可以明确地说，LLM不仅仅是统计引擎，它们能够表示训练数据背后的数据生成过程的底层结构。