我们对于机器学习/人工智能的“错误”定义是否合理？如果不合理，为什么？
在我最近一篇关于机器学习公众认知的帖子中，有人对机器学习模型的错误含义提出了质疑。读者问我是否认为机器学习模型会一直“犯错”。正如我在那篇文章中所描述的，人们往往会将机器学习模型拟人化。当我们与一个语言模型的聊天机器人互动时，我们会应用一些与人类交流中学到的技巧，比如说服、措辞、论证等等。然而，这往往是无效的，会导致令人不满意的回答。
在我日常工作中，我也经常遇到与分类器和回归模型相关的类似问题。我和我的团队花费了大量的时间和精力来帮助客户和同事们理解机器学习并不完美（而且实际上永远也不会完美）。“为什么模型在事实上是X-5的情况下却说成了X？”这是一个永恒的主题。我并不全然责怪提问者，至少不完全责怪，因为正如我在上一篇文章中所写的，我们在更广泛的机器学习社区中并没有很好地教授基本的机器学习知识。
但是这也引出了一个核心问题，在我们真正解决这个问题之前，我们需要对此进行更深入的研究。
当我们说一个模型犯了错误、失败了、产生了幻觉或者撒谎时，我们到底是什么意思（以及其他人是什么意思）？
在回答这个问题之前，我们需要从头开始。
什么是机器学习模型？
从一个非常非常泛化的意义上讲，机器学习模型是一种算法，它接受某些输入或提示，并返回一些以概率确定的响应。它决定响应应该是什么的方式可以有很大的差异 – 可能会使用决策树、神经网络、线性回归或其他类型的机器学习。
为了创建一个模型，我们从反映我们所寻求结果的样本数据开始。输入样本可以是各种各样的东西 – 对于生成型人工智能，它们可以是大量的人类编写的文本、音乐或图像。对于其他类型的机器学习，它们可以是包含对象特征的大型数据集，或者对图像或文本进行分类等等。
有时这些样本将被“标记”，以便模型学习哪些是可取的或不可取的，或者哪些落入特定类别，哪些不是。其他时候，模型将学习底层样本中的模式，并从中推导出自己对这些模式的理解，以复制输入的特征、在选项之间进行选择、将输入分组或进行其他活动。
生成型人工智能模型的训练方式
我们训练生成型模型的方式是特定的，比训练一个估计简单概率的模型更加复杂。相反，这些模型正在估计许多不同元素的概率，并将它们组合起来创建自己的响应。以下是我们进行这种训练的几种非常简单的解释。（这些都是极端简化的解释，请原谅缺乏细节和任何概括。）
当我们生成声音或图像时，我们可以使用生成对抗网络。在这里，模型相互竞争，一个模型生成新内容，另一个模型试图判断该内容是来自模型还是来自其他来源，两者来回竞争数以千计的案例。最后，生成模型将能够产生几乎无法区分与真实内容的内容。（作为副作用，判别模型也非常擅长判断输入是否由人类生成。）
对于语言模型，以及像GPT模型这样的文本生成模型，我们使用称为Transformer的技术。这种训练涉及教授模型对单词的意义如何相关以及如何生成与人类产出几乎无法区分的文本内容的理解。结果听起来非常令人信服，因为模型知道哪些单词很可能会一起出现（这是根据训练中真实人类语言使用的概率来确定的）。
为了从文本输入生成图像，例如Dall-E，我们使用Diffusion。在这种情况下，我们教模型根据提供的文本计算图像的哪些特征最有可能被期望，模型从一个静态的图像开始，根据您的文本应用细节/颜色/特征。这是基于模型根据其训练数据从文本通常对应于图像的学习。
使用这些技术，我们教模型解密输入中的模式-有时是我们自己无法解释或检测的模式（特别是对于深度学习），然后模型能够解释和应用这些模式。尽管这些模式可能是文本、图像或其他许多东西，但所有这些都是数学的表面。
现在我们知道了这一点，我们可以谈论输出是什么，以及当输出不是我们所希望的时候意味着什么。
输出
机器学习模型产生的东西可以各种各样。生成型人工智能特别产生各种类型的图像、视频、音频和文本。其他类型的模型给出事件/现象的可能性、未知值的估计、文本到不同语言的翻译、内容的标签或分组等等。
在所有这些情况下，复杂的数学计算被用来根据给定的输入估计最佳响应。然而，“最佳”是一个非常具体的事情。在创建模型的过程中，您已经告诉模型您希望其响应具有哪些特点。
在创建模型的过程中，您已经告诉模型您希望其响应具有哪些特点。
当我们得到意料之外的结果时，这意味着什么？
这与我们自身以及模型有关。这本质上就像科技领域中的任何产品一样。产品设计师和创造者在开发销售给人们的东西时会组织“用户故事”，其中包括有关谁将使用此产品、如何使用以及为什么使用的叙述，以及他们希望从中获得什么。
例如，假设我们正在设计一种电子表格工具。我们会使用用户故事来考虑会计师安妮，我们会与会计师讨论会计师在电子表格软件中需要哪些功能。然后我们会考虑商业分析师鲍勃，我们会与商业智能分析师讨论他们的特性需求。我们在规划电子表格工具时会将所有这些列在我们的清单上，并用此指导我们的设计。你明白了吧。
机器学习模型的用户是谁？这完全取决于模型的类型。例如，如果您的模型根据房屋特征预测房价，它可能是房地产经纪人、抵押贷款人或购房者。一个相对特定且应用范围明确的模型很容易为用户定制。我们数据科学家可以确保这个模型符合将使用它的人的期望。
有时预测可能不准确，但这是一个数学问题，我们可能可以解释为什么会发生这种情况。也许我们给模型提供了错误的数据，或者这所房子因为某种我们无法告诉模型的原因而异常。例如，如果模型从未被教导如何解释后院动物园对房价的影响，它就没有办法融入那些信息。如果发生了房价崩盘怎么办？我们不久前就见过这种情况，你可以想象模型从崩盘之前学到的模式将不再适用。
然而，在这种情况下，我们有两个东西：
- 一个明确的模型旨在实现的目标，数据科学家和用户都知道；
- 一种可量化的方式来衡量模型是否接近其目标。
这意味着当我们想要定义模型是否成功时是清晰而直接的。在我们做出这个决定之后，我们可以探索模型为什么会做出这样的决策-这就是该领域中所称的“模型可解释性”。
但是对于LLMs呢？
对于像LLM这样的东西，整个框架意味着什么？ChatGPT的用户是谁？（你刚才是不是在心里说“每个人”？）当一个模型的输出像LLM一样复杂和多样化时，我们开始有了问题。
对于构建生成式AI模型的数据科学家们来说，虽然他们可能采用不同的训练方法，但我们通常都在努力创造尽可能接近训练数据的内容，这些数据通常是由人类或自然生成的。为了实现这一目标，模型是在人类或自然产生的样本内容上进行训练的。我们尽力以数学的方式让模型理解这些内容为什么感觉“真实”，以便能够复制这种感觉。这就是生成式AI模型如何能够提高效率并使某些人类工作变得过时的方式。
这些模型在这方面做得非常出色！然而，这也带来了一些问题。由于LLM模型在模仿人类回应方面如此令人信服，用户往往会简化地认为它们就像人一样。这就像孩子们学习动物的方式一样——你告诉一个孩子，有四条腿和湿鼻子的毛茸茸的生物是狗，但是当你在他们面前放一只猫时，他们往往会认为那也可能是一只狗，因为基本特征看起来是如此相似。只有当你解释猫是另一种动物时，他们才会开始解释其中的差异并建立一个不同的心理模型。
目前，我认为大多数公众仍在建立一个不同的心理模型，以区分LLM和人类。 （正如我之前所写的，数据科学家需要成为解释狗和猫不同的成年人，继续使用这个比喻。）
但是我有点离题了。这实际上意味着与非常基本的模型（例如房价）进行交互的人们理解这是一个有限的算法。这更像是电子表格公式而不是人，这塑造了我们的期望。但是当我们使用ChatGPT时，它具有很多与人类在线聊天的特点，这会影响我们。我们不仅仅期望“听起来像人类语言的文本”这样的有限事物，我们开始期望陈述总是准确的，结果包含有连贯的批判性思维，并且从今天的新闻中获得的事实可以从模型中检索出来，即使它是去年训练的。
在模型结果中出现批判性思维的程度可能是因为模型学习到了我们从真实人类来源解释为“批判性思维”的文本排列听起来更“人类”，因此它为此目的模仿这些排列。当我们与人交谈时，我们会根据他们说的话推断出他们在使用批判性思维。然而，我们无法这样做机器学习。
请记住我上面描述的房价模型具有的两个关键要素：
1. 模型旨在实现的明确目标，数据科学家和用户都知道；
2. 一种可量化的方式来衡量模型是否接近其目标。
对于包括但不限于LLMs在内的生成式AI，我们在1方面遇到了问题，部分是因为目标实际上并不那么明确（“返回与人类产生的内容无法区分的材料”），但主要是因为数据科学家们明确没有成功地向用户传达那个目标。数据科学家在这些模型上的工作在2方面有所突破，因为他们使用复杂的数学系统来教导模型何时产生足够“真实”或类似人类的内容。但对于普通路人用户来说，这要困难得多。确定模型是否做得好更像是打分而不是检查数学问题的结果。主观性潜入其中。
但即使衡量起来更容易，我坚决主张用户，甚至一些技术熟练且受过良好教育的用户，对这些模型已经被训练做什么并不是很清楚，因此无法知道对其有什么期望是现实的，而什么是不现实的。因此，对于模型来说完全合适的结果，例如流畅、优雅、完全“人类”的段落描述月亮是由绿色奶酪构成，会被视为“错误”。然而，这不是错误-这个输出达到了它的训练目标-这就是我们困惑的根源。
校准期望
这意味着我们需要校准这些模型的期望，我希望这篇文章能在一定程度上帮助到您。要成功地使用机器学习模型，并区分错误和预期行为之间的差异，您需要了解模型训练的任务以及训练数据的性质。如果您变得非常精细，您还需要清楚了解数据科学家们是如何衡量该模型成功的，因为这会极大地影响模型的行为。
通过融入这些要素，您将获得了解模型结果含义所需的上下文，能够准确地解释它们 – 您的期望会合理，并且您将知道它们是否得到满足。此外，当涉及到机器学习时，您将知道“错误”实际上意味着什么。
关于流行的生成式机器学习模型，有一些有用的资料澄清了很多问题（它们是如何训练的，响应的真正含义是什么），我在下面添加了一些链接作为选项，供那些想要了解更多关于生成式人工智能的人使用（我并不代表所有这些材料的观点，只是提供给想要了解更多的人参考）。
人工智能模型注定会一直产生幻觉吗？ | TechCrunch
像ChatGPT这样的大型语言模型有一个坏习惯，就是编造事实。但这能在技术层面上解决吗？
techcrunch.com
Google Cloud技能提升
Qwiklabs提供真实的Google Cloud环境，帮助开发人员和IT专业人员学习云平台和…
www.cloudskillsboost.google
Garon, Jon M., 《生成式人工智能、合成媒体以及最新VoAGI中的信息》, 2023年3月14日. SSRN: https://ssrn.com/abstract=4388437 或 http://dx.doi.org/10.2139/ssrn.4388437
了解更多关于我的工作，请访问 www.stephaniekirmer.com。
注意：通常我会说“机器学习”而不是“人工智能”，但在“生成式人工智能”的情况下，我选择使用这个词组，因为它在该领域被广泛采用。