使用稳定的扩散技术，可以仅凭文字生成图片。在许多语言挑战中，GPT-2、GPT-3(.5)和GPT-4表现出色。公众首次通过ChatGPT接触到这些类型的语言模型。大型语言模型（LLMs）已经成为永久性的组成部分，并有望极大地改变整个在线文本和图片生态系统。只有在得到应有的考虑时，从大规模网络抓取的数据才能得以维护。事实上，随着LLMs生成的内容被包含在从互联网中抓取的数据中，关于真实人类与系统交互的数据价值将会增加。
来自英国和加拿大的研究人员发现，在一个模型从另一个模型生成的数据中进行学习时，模型崩溃会发生。即使没有变化，这种退化过程会导致模型随着时间的推移失去对真实基础数据分布的追踪。他们通过提供高斯混合模型、变分自编码器和大型语言模型的案例研究来说明这种现象。他们展示了随着后续世代的到来，获得的行为会收敛到一个极小方差的估计值，并且这种对真实分布的知识丧失始于尾部的消失。此外，他们还证明了即使在具有长期学习的近乎最优条件的情况下（即没有功能估计误差），这种结果也是不可避免的。
研究人员通过谈论模型崩溃的更大影响来做出结论。他们指出，拥有原始数据以确定基础分布的尾部在哪里非常重要。因此，人类与LLMs交互的数据将变得越来越有用，如果用于在互联网上大规模发布材料，从而污染数据收集以对其进行训练。
什么是模型崩溃？
当一代学习生成模型崩溃为下一代时，后者会因受到污染数据的训练而出现错误解释世界的情况。根据其发生的时间，模型崩溃可以分为“早期”和“晚期”。在模型崩溃的早期阶段，模型开始丢失有关分布尾部的信息；在晚期阶段，模型缠绕在原始分布的不同模式之间，并收敛于一个与原始分布几乎没有相似之处的分布，通常具有非常小的方差。
在这种考虑了许多模型的方法中，模型不会忘记先前学习的数据，而是开始通过加强自己的观点来错误地解释真实世界，这与灾难性遗忘过程相反。这是由于两个不同的错误源，当它们在不同世代中相结合时，会导致偏离原始模型。其中一个特定的错误机制对此过程至关重要，它将在第一代之后存活下来。
模型崩溃：原因
模型失败的基本原因和次要原因如下：
- 最常见的错误是统计近似误差，当样本数量有限时会出现，但随着样本大小趋近无穷大而减少。
- 由于功能逼近器不足够表达（或偶尔过度表达超出原始分布），导致的次要错误称为功能逼近误差。
这些因素中的每一个都可能加剧或减轻模型崩溃的可能性。更好的逼近能力可能是一把双刃剑，因为更大的表达能力可能会放大统计噪声并减少它，导致更好地逼近基础分布。
据研究人员称，递归地训练生成模型会导致模型崩溃，影响每一代模型。他们制定了基本的数学模型，这些模型在应用于实际数据时会崩溃，但可以用于推导感兴趣的值的分析方程式。他们的目标是在最终逼近原始分布时，将各种误差类型的影响量化。
研究人员表明，对另一个生成模型的数据进行训练可能会引发模型崩溃，导致分布发生变化。因此，模型会错误地解释训练问题。长期学习需要保持对原始数据源的访问，并随时准备好保留其他非LLMs生成的数据。目前仍在确定如何在大规模跟踪由LLMs生成的内容，这引发了有关从互联网抓取的内容的真实性问题，以及区分它与其他数据的必要性的问题。社区范围的协调是确保参与LLM开发和部署的所有各方进行沟通和共享必要数据以解决真实性问题的一种方法。通过从技术广泛应用之前从互联网上爬取的数据或直接获取规模化的由人提供的数据，可能会越来越容易地训练后续版本的LLMs。
查看论文和参考文章。别忘了加入我们的24k+ ML SubReddit、Discord 频道和电子邮件通讯，我们在这里分享最新的人工智能研究新闻、很酷的人工智能项目等等。如果您对以上文章有任何问题或我们漏掉了什么，请随时发送电子邮件至Asif@marktechpost.com与我们联系。