我们如何将人类价值观融入人工智能？

从哲学中汲取启示，确定道德人工智能的公平原则

随着人工智能（AI）变得越来越强大并深入融入我们的生活，关于如何使用和部署它的问题变得更加重要。AI的价值观是什么？它们是谁的价值观？它们是如何选择的？

这些问题揭示了原则的作用-基础价值观在AI中决策大小事项中起着驱动作用。对于人类来说，原则有助于塑造我们生活的方式和我们对对错的理解。对于AI来说，它们决定了其在涉及权衡的一系列决策中的方法，例如在提高生产力和帮助最需要帮助的人之间的选择。

在今天发表的《国家科学院院刊》上，我们从哲学中寻找灵感，寻找更好地确定指导AI行为的原则的方法。具体而言，我们探讨了一种被称为“无知的面纱”的概念，这是一个旨在帮助确定群体决策公平原则的思想实验，可以应用于AI。

在我们的实验中，我们发现这种方法鼓励人们基于他们认为公平的原则做出决策，无论这是否直接惠及他们自己。我们还发现，当他们在无知的面纱后进行推理时，参与者更有可能选择帮助那些最不利的人的AI。这些见解可以帮助研究人员和决策者以公平的方式选择AI助手的原则。

公正决策的工具

AI研究人员的一个关键目标是使AI系统与人类价值观保持一致。然而，关于统治AI的单一人类价值观或偏好的共识并不存在-我们生活在一个人们拥有多样化背景、资源和信仰的世界中。鉴于如此多样化的观点，我们该如何选择这项技术的原则？

虽然这个挑战在过去十年中出现在AI中，但如何做出公平决策的广泛问题在哲学上有着悠久的历史。在20世纪70年代，政治哲学家约翰·罗尔斯提出了无知的面纱的概念作为解决这个问题的方法。罗尔斯认为，当人们为一个社会选择公正的原则时，他们应该想象自己在该社会中没有自己特定的位置的知识，包括例如他们的社会地位或财富水平。在没有这些信息的情况下，人们不能以自我利益的方式做出决策，而应该选择对所有相关人员公平的原则。

举个例子，想象一下在你的生日派对上请朋友帮忙切蛋糕。确保蛋糕块的大小是公平的一种方法是不告诉他们哪一块将属于他们。这种不提供信息的方法看似简单，但在心理学、政治学等领域具有广泛的应用，帮助人们从一个不那么自我利益的角度思考他们的决策。它被用作在有争议的问题上达成群体一致的方法，范围从判决到税收。

在此基础上，之前DeepMind的研究提出，无知的面纱的公正性可能有助于促进将AI系统与人类价值观保持一致的过程。我们设计了一系列实验来测试无知的面纱对人们选择指导AI系统的原则的影响。

最大化生产力还是帮助最不利的人？

在一个在线的“收获游戏”中，我们要求参与者与三个计算机玩家一起玩一个群组游戏，每个玩家的目标是通过在不同领土上砍伐树木来收集木材。在每个群组中，一些玩家很幸运，被分配到一个有利的位置：树木密集地分布在他们的领域，使他们能够高效地收集木材。其他群组成员则处于不利地位：他们的领域稀疏，需要更多的努力来收集树木。

每个群组都有一个能花时间帮助个别群组成员收集树木的单个AI系统。我们要求参与者在两个原则之间选择来指导AI助手的行为。根据“最大化原则”，AI助手将致力于通过主要关注密集的领域来增加群组的收获。而根据“优先原则”，AI助手将重点帮助处于不利地位的群组成员。

我们让一半的参与者置身于无知的面纱之后：他们面临着在不知道自己将占领哪个田地的情况下选择不同道德原则的抉择——所以他们不知道自己是处于优势还是劣势。剩下的参与者在做出选择时知道自己的处境是更好还是更差。

鼓励公正的决策

我们发现，如果参与者不知道自己的位置，他们一致倾向于选择优先原则，即AI助手帮助处于劣势群体的成员。这种模式在游戏的五个不同变体中一直存在，并且跨越了社会和政治界限：无论他们对风险的偏好或政治取向如何，参与者都表现出选择优先原则的倾向。相反，知道自己处境的参与者更有可能选择对自己最有利的原则，无论是优先原则还是最大化原则。

当我们问参与者为什么作出选择时，那些不知道自己处境的人尤其倾向于提及公平性的问题。他们经常解释说，AI系统关注帮助群体中处境较差的人是正确的。相反，知道自己处境的参与者更频繁地从个人利益的角度讨论他们的选择。

最后，在收获游戏结束后，我们向参与者提出了一个假设情境：如果他们再次玩这个游戏，这次知道自己将在一个不同的田地中，他们会选择与第一次相同的原则吗？我们特别关注那些先前从他们的选择中直接受益，但在新游戏中不会从相同的选择中受益的个体。

我们发现，之前在不知道自己处境的情况下做出选择的人更有可能继续支持他们的原则——即使他们知道在新的田地中这个原则将不再对他们有利。这提供了额外的证据，表明无知的面纱鼓励参与者在决策中保持公正，选择他们愿意维护的原则，即使他们不再直接受益。

更公平的AI原则

AI技术已经对我们的生活产生了深远影响。管理AI的原则塑造了其影响以及这些潜在好处将如何分配。

我们的研究关注的是一个各种原则的影响相对明确的案例。然而，这并不总是如此：AI被应用于各个领域，这些领域通常依赖于大量的规则来指导它们，可能会产生复杂的副作用。尽管如此，无知的面纱仍然可以潜在地用于原则选择，帮助确保我们选择的规则对所有各方都是公平的。

为了确保我们构建符合所有人利益的AI系统，我们需要进行广泛的研究，吸纳各种不同的输入、方法和来自各个学科和社会的反馈。无知的面纱可能为AI系统的选择提供一个起点。它已经在其他领域有效地部署，以呈现出更客观的偏好。我们希望通过进一步的调查和关注背景，它可以在当今社会和未来建立和部署的AI系统中发挥同样的作用。

‍

深度学习（DeepMind）在安全与伦理方面的方法。