机器学习专家 – Margaret Mitchell

嘿朋友们！欢迎来到机器学习专家。我是你们的主持人Britney Muller，今天的嘉宾是Margaret Mitchell（简称Meg）。Meg是谷歌道德人工智能团队的创始人和共同领导者，是机器学习领域的先驱者，发表了50多篇论文，是道德人工智能领域的领先研究者。

Meg将会谈到她意识到道德人工智能重要性的时刻（一个令人难以置信的故事！），以及机器学习团队如何更加关注有害数据偏见，以及多样性和包容性在机器学习中的权力（和性能）优势。

机器学习专家 - Margaret Mitchell 四海第1张

非常激动地向大家介绍这个精彩的剧集！以下是我与Meg Mitchell的对话：

文字记录：

注意：为了提供最高质量的阅读体验，文字记录进行了轻微的修改和重新格式化。

Dr. Margaret Mitchell的背景：

本科就读于里德学院的语言学专业 – 在自然语言处理方面有所研究
本科毕业后从事辅助和增强技术的研究，在研究生阶段也是如此
在华盛顿大学获得计算语言学硕士学位
计算机科学博士学位

Meg：我在约翰斯·霍普金斯大学做博士后期间进行了大量的统计工作，然后去微软研究院继续从事从视觉到语言生成的研究，这导致了一个名为Seeing AI的应用程序的开发，该应用程序可以帮助视障人士更轻松地导航世界。

在微软待了几年后，我离开去谷歌工作，专注于深度学习中的大数据问题。在那里，我开始关注公平性、不同问题的严格评估和偏见等方面。在谷歌期间，我创立并共同领导了道德人工智能团队，专注于包容性和透明度。

在谷歌工作了四年后，我加入了Hugging Face，在这里我能够全身心投入到编码工作中。我正在帮助创建道德人工智能研究的协议，推行包容性招聘，建立良好的文化。

你是什么时候意识到道德人工智能的重要性的？

Meg：这是当我在微软工作时，我正在开发辅助技术Seeing AI。总的来说，我是在从图像生成语言方面进行研究，我开始看到数据是多么的不平衡。数据只代表了世界的一个子集，它影响着模型所说的内容。

所以我开始遇到一些问题，白人会被描述为“人”，而黑人会被描述为“黑人”，好像白人是默认的，黑人是一个有标记的特征。这让我感到担忧。

还有一个顿悟的时刻，当我给我的系统输入一系列图像，让它更多地讲述一段故事时。我给它一些关于这个巨大爆炸的图像，很多人在那里工作，称为“Hebstad爆炸”。你可以看到拍照的人站在二楼或三楼，看着这个爆炸。爆炸离这个人非常近。那是一个非常严峻和紧张的时刻，当我把这些图像输入到系统中时，系统的输出是“这太棒了，这是一个很好的景色，这很美”。我想..这是对这个可怕场景的很好的视角，但这里重要的是人们可能正在丧生。这是一个巨大的破坏性爆炸。

但问题是，当你从图像中学习时，人们不倾向于拍摄可怕的事物，他们会拍摄日落、烟花等的照片，而视觉识别模型已经从这些图像中学到，认为天空的颜色是一件积极、美丽的事情。

在那一刻，我意识到，如果一个具有那种思维的模型能够接触到行动，它离一个认为这是美丽的事物而引爆建筑物的系统只有一步之遥。

对我来说，这是一个时刻，我意识到我不想让这些系统在基准测试上取得更好的成绩，我想从根本上改变我们对这些问题的看法，我们处理数据和数据分析的方式，我们评估的因素以及这些简单流程中忽略的所有因素。

这样，我真正开始从事道德人工智能工作。

在哪些应用中，数据伦理最重要？

Meg：以人为中心的技术涉及人和身份（人脸识别，行人识别）。在自然语言处理中，这更涉及个人隐私，个人如何被谈论以及模型对用于描述人的词语的偏见。

机器学习团队如何更加意识到有害偏见？

Meg：一个主要问题是，这些概念没有被教授，大多数团队根本不知道。另一个问题是缺乏一个词汇表来描述和传达正在发生的事情。

例如：

这是什么是边缘化
这是什么是权力差异
这是什么是包容性
这是刻板印象是如何工作的

更好地理解这些基本原则非常重要。

另一个问题是机器学习背后的文化。它采取了一种“阿尔法”或“男子气概”的方式，关注的是“击败”上一次的数字，使事物变得“更快”，“更大”等等。可以与人体解剖学进行许多类比。

还存在一种非常敌对的竞争意识，女性的待遇普遍不公平。

由于女性通常更熟悉歧视问题，她们在人工智能领域更加关注伦理、刻板印象、性别歧视等。这意味着这些问题更多地与女性联系在一起，并被视为次要，这使得文化更加难以渗透。

人们普遍认为我不具备技术能力。这是我不得不一次又一次证明的事实。人们称我为语言学家、伦理学家，因为这些是我关心和了解的事情，但这被视为次要。人们说或认为：“你不会编程，你不了解统计学，你不重要”，直到我开始从技术角度谈论问题，人们才认真对待我，这是不幸的。

在机器学习领域存在着巨大的文化障碍。

缺乏多样性和包容性对每个人都有害

Meg：多样性是指在桌子上有很多种族、民族、性别、能力和地位。包容性是指每个人都感到自在地交谈，他们感到受欢迎。

成为更具包容性的最佳方法之一就是不要排斥他人。这听起来很明显，但常常被忽视。人们因为认为某些人没有帮助，或者认为他们讨厌或好斗（这是各种偏见的体现），所以会被排除在会议之外。要想包容他人，就不能排斥他人，因此在安排会议时要注意邀请人员的人口构成。如果你的会议全是男性，那就是一个问题。

变得更加意识到并有意识地关注你在邮件中包含的人的人口构成非常有价值。但你会注意到，在技术领域，很多会议都只有男性参加，如果你提出这个问题，可能会遭到很多敌意。在包容性方面，倾向于包括更多的人。

我们都有偏见，但有些模式可以打破。在写邮件时，我会考虑他们的性别和种族，以确保我是包容性的。这是一种非常有意识的努力。考虑人口构成的思维方式会有所帮助。然而，在某人发送电子邮件或安排会议之前提到这一点。当你事后提到这些事情时，人们通常不会做出良好的反应。

人工智能中的多样性——难道没有证据表明，在机器学习项目中拥有更多多样化的人员会产生更好的结果吗？

Meg：是的，因为你拥有不同的观点，你就有了不同的选择分布，从而获得更多的选择。机器学习的一个基本方面是，在开始训练时，你可以使用一个随机的起点和你想要从中抽样的分布。

大多数工程师都会同意，你不希望从分布的一个小部分抽样，以便有最大的机会找到局部最优解。

您需要将这种方法翻译给坐在桌子旁的人。

就像您希望在不同的起始状态下采用高斯方法一样，当您开始项目时，您也希望在桌子旁边采用这种方法，因为它为您提供了更大的搜索空间，使得更容易达到局部最优解。

您能谈谈模型卡(Model Cards)以及该项目的由来吗？

Meg: 这个项目是在我刚开始在谷歌工作时开始的，当时我正在研究公平性以及公平评估的严格标准。

为了做到这一点，您需要了解上下文并了解谁会使用它。这涉及到如何处理模型偏差的问题，但并没有得到很多关注。

我当时正在与Timnit Gebru交谈，她是当时与我有着相似兴趣的领域专家，她谈到了这种数据表的想法；一种用于数据文档的方式（基于她在苹果的经验），在工程领域中，您往往会对硬件进行规范说明。但是对于数据来说，我们没有类似的东西，她认为这很荒谬。

所以Timnit提出了这种为数据集创建数据表的想法。我突然意识到，通过制作一种“工具”，对于那些对推出新产品感兴趣的技术人员来说，他们会更加重视这个问题。因此，如果我们说必须制作这个工具，并且它将作为一个产品推出，那么人们会更有动力去做。

我们选择了“数据表”这个与“数据表”相对应的词，因为这个词更加通用，并且随着时间的推移，它会有更长的使用寿命。

Timnit的论文标题是“数据集的数据表”。因此，我们将我们的论文称为“模型报告的模型卡(Model Cards)”，一旦我们发表了这篇论文，人们开始更加认真地对待我们的工作。没有Timnit Gebru的聪明才智，我们是无法做到这一点的，她建议说：“您需要一个工具，一种标准化的东西，人们会希望去制作。”

模型卡(Model Cards)将朝着何方发展？

Meg: 在以符合道德的方式填写模型卡上，存在着相当大的准入障碍。部分原因是需要填写模型卡的人通常是工程师和开发人员，他们希望推出自己的模型，并不愿意花时间考虑文档和道德问题。

我之所以想加入Hugging Face，是因为这给了我一个机会，可以尽可能地标准化这些过程，并尽量自动化。我非常喜欢Hugging Face的一点是，它专注于创建尽可能顺畅的端到端机器学习流程。我希望能够在模型卡上做类似的事情，让您可以根据不同的问题或者甚至是模型规范直接生成大部分自动生成的模型卡。

我们希望努力使模型卡尽可能填写完整并具有互动性。互动性可以使您在调整决策阈值时看到错误率的差异。通常，在分类系统中，您设置一个阈值，例如0.7，来判断是或否，但在实践中，您实际上希望调整决策阈值以权衡不同的错误。

静态报告无法提供所需的信息，因为您希望了解在选择不同的决策阈值时它的工作情况，并且您可以使用这些信息来决定在您的系统中使用哪个决策阈值。因此，我们创建了一个模型卡，您可以交互地更改决策阈值并查看数字的变化。进一步自动化和互动性是前进的方向。

决策阈值和模型透明度

Meg: 当亚马逊首次推出面部识别和面部分析技术时，发现对于黑人女性而言，性别分类的结果明显偏差很大。亚马逊的回应是：“这是使用错误的决策阈值进行的”。然后，有一个使用这些系统的警察机构被问到使用了什么决策阈值，他们回答说：“哦，我们没有使用决策阈值。”

这就像是，您真的不了解这是如何工作的，并且正在使用默认参数设置的开箱即用功能吗？这是一个问题。因此，至少有了这个文档，人们会意识到各种参数的决策。

机器学习模型与我们发布的其他产品非常不同。玩具、药品和汽车都有各种规定，以确保产品安全并按照预期工作。在机器学习领域，我们没有这样的规定，部分原因是这个领域还很新，所以法律和规章制度尚不存在。这有点像是在“荒野西部”，而我们正试图通过模型卡来改变这种状况。

你在Hugging Face上做什么工作？

正在开发为工程师设计的几种不同工具。
进行哲学和社会科学研究：刚刚深入研究了《世界人权宣言》（Universal Declaration of Human Rights）以及如何将其应用于人工智能。试图帮助弥合人工智能、机器学习、法律和哲学之间的差距。
试图开发一些对于测试系统和理解数据集有帮助的统计方法。
我们最近还推出了一个工具，可以显示一种语言与齐普夫分布（自然语言的倾向）的匹配程度，以便测试模型与自然语言的匹配程度。
在文化方面也做了很多工作：花了很多时间在招聘上，以及我们应该采取的流程，以更具包容性。
参与了一个名为“大科学”（Big Science）的大型项目，来自世界各地的人们一起努力进行数据治理（如何在不让大数据无处不在/不被跟踪的情况下使用和审查大数据）。
偶尔会接受采访或与参议员交谈，所以工作内容很广泛。
有时尽力回复电子邮件。

注意：Hugging Face的每个人都有多重身份。 🙂

Meg对人工智能的影响

Meg在《天才创造者》一书中被介绍为“将人工智能带给谷歌、Facebook和世界的先驱者们”。Cade Metz在Meg在谷歌时采访了她。

Meg的开创性研究、系统和工作在人工智能的历史中发挥了关键作用。（我们在Hugging Face非常幸运能有她！）

快速提问：

对于想要进入人工智能领域的人来说，最好的建议是什么？

Meg：这取决于这个人是谁。如果他们具有边缘化的特征，我会给出非常不同的建议。例如，如果是一个女性，我会说：“不要听从你的主管说你不擅长这个。很有可能你只是以与他们不同的方式思考，所以要对自己有信心。”

如果是具有更多主流特征的人，我会说：“不要考虑管道问题，要关注身边的人，并确保支持他们，以使你现在所在的管道问题变得不那么严重。”

此外，“评估你的系统。”

你最期待看到机器学习应用于哪些行业（或应用于机器学习伦理）？

Meg：我依然非常关心和看到健康和辅助领域的巨大潜力。

我也希望看到能帮助人们了解自己偏见的系统。目前有很多技术被创造出来用于筛选求职者进行面试，但我觉得这些技术应该真正关注面试官以及他们可能带有不同偏见的情况。希望有更多的技术能协助人类更具包容性，而不是协助人类排斥他人。

你在主题演讲和采访中经常提到令人难以置信的有偏见模型的例子。我特别喜欢你提到过的用嘴角角度来识别罪犯的犯罪检测模型（你迅速揭穿了这一点）。

Meg：是的，[例子是]他们声称有一个角度θ，更能表明罪犯，当是一个更小的角度时。然而，我看着数学公式，意识到他们所说的其实是微笑！在微笑时，嘴角形成一个更大的角度，而直面时则形成一个更小的角度。他们真的错过了他们实际捕捉到的东西。实验者的偏见：希望找到不存在的东西。

人们应该担心人工智能接管世界吗？

Meg: 人工智能有很多令人担忧的事情。我认为我们对不同结果有一种分布，其中一些结果比其他结果更积极，所以我们不可能知道确切的结果。人工智能在很多不同的领域都可以提供超级有帮助的任务，而不仅仅是一般智能。你可以看到它朝着另一个方向发展，就像我之前提到的，一个模型认为某种破坏性的东西是美丽的，离按下按钮发射导弹的系统只有一步之遥。我不认为人们应该害怕，但他们应该考虑最好和最坏的情况，并尽量减轻或阻止最糟糕的结果。

我认为现在最大的问题是这些系统可能加剧富人和穷人之间的差距。进一步赋予那些有权力的人权力，并进一步恶化那些没有权力的人的处境。设计这些系统的人往往是拥有更多权力和财富的人，他们为自己的利益设计事物。我认为这种情况正在发生，也是未来需要考虑的事情。

希望我们能专注于最有益的事物，并继续朝着这个方向发展。

最喜欢的机器学习论文？

Meg: 最近我非常喜欢 Abeba Birhane 在机器学习中编码的价值观所做的工作。我在谷歌的团队正在研究数据的家族谱，对机器学习数据的处理进行批判性分析，他们有几篇论文，例如《数据及其（不）内容：对机器学习研究中数据集开发和使用的调查》。我真的很喜欢那项工作，可能有点偏袒，因为它涉及到我的团队和直接下属，我为他们感到非常骄傲，但它确实是非常好的工作。

我对早期的论文更感兴趣，那些论文更反映出我当时的研究方向。我非常喜欢赫伯特·克拉克（Herbert Clark）的工作，他是一个语言心理学/交流学的人，他在人类交流方面做了很多可以轻松转化为计算模型的工作。我真的很喜欢他的工作，并且在我的论文中经常引用他。

还有什么要补充的吗？

Meg: 我正在从事的一个项目是降低不同学术背景的人进入人工智能的门槛。

我们有很多人在开发技术，这很好，但我们没有很多人可以真正质疑技术，因为通常存在一个瓶颈。

例如，如果你想直接了解数据，你必须能够登录服务器并编写 SQL 查询。所以存在一个瓶颈，需要工程师来处理，而我想消除这个障碍。我们如何将基本的技术代码开放，使人们可以在不需要编程知识的情况下直接查询数据呢？

当我们消除需要工程师参与的障碍时，我们将能够制造出更好的技术。

结束语

Britney: Meg 在整点时间有其他安排，但我能够离线向她提问最后一个问题：最近你对什么感兴趣？Meg 的回答是：“如何在合成/受控环境中繁殖和培育植物。”就在我以为她再酷也没了的时候。

我会留下 Meg 在一篇 Science News 的文章中的一句最近的话作为结束语：“最紧迫的问题是多样性和包容性，即从一开始就应该有哪些人参与讨论。其他所有问题都由此而来。” – Meg Mitchell。

感谢您收听《机器学习专家》！