让我们谈谈机器学习中的偏见！伦理与社会通讯第二期

机器学习中的偏见无处不在，而且机器学习中的偏见非常复杂；事实上，没有单一的技术干预可以有效地解决它所带来的问题。作为社会技术系统，机器学习模型放大了可能加剧不平等和有害偏见的社会趋势，这取决于它们的部署环境并不断演变。

这意味着谨慎地开发机器学习系统需要保持警惕，并对来自部署环境的反馈作出回应，而我们可以通过在不同环境中分享经验教训和开发工具来促进这一过程，以分析每个机器学习开发阶段的偏见迹象。

这篇来自伦理和社会团队的博客文章分享了我们学到的一些教训，以及我们开发的工具，以支持我们和社区中其他人更好地解决机器学习中的偏见问题。第一部分是关于偏见及其背景的广泛反思。如果您已经阅读过它，并且特别关注工具部分，请随意跳转到数据集或模型部分！

🤗 团队成员开发的一些用于解决机器学习中偏见问题的工具

目录：

• 关于机器偏见
  • 机器偏见：从机器学习系统到风险
  • 将偏见置于背景中
• 工具和建议
  • 在机器学习开发中解决偏见问题
    • 任务定义
    • 数据集策划
    • 模型训练
  • 🤗 偏见工具概述

机器偏见：从机器学习系统到个人和社会风险

机器学习系统使我们能够在以前从未见过的规模上自动化复杂任务，因为它们在更多的领域和用例中得到应用。当技术发挥最佳作用时，它可以帮助人们与技术系统之间的互动更加顺畅，消除高度重复性的工作需求，或者开辟处理信息的新方式以支持研究。

这些系统同样有可能复制训练数据中所代表的歧视性和滥用行为，特别是当数据编码了人类行为时。这时，技术有可能使这些问题变得更加严重。自动化和大规模部署确实可以：

1. 固化某一时期的行为，阻碍社会进步在技术中得到反映，
2. 扩大有害行为超越原始训练数据的上下文，
3. 通过过度关注刻板印象的关联来放大不平等，
4. 通过将偏见隐藏在“黑盒”系统中，剥夺追索的可能性。

为了更好地理解和解决这些风险，机器学习研究人员和开发人员已经开始研究机器偏见或算法偏见，即可能导致系统在其部署环境中对不同人群产生负面刻板印象或不同绩效的机制。

这些问题对于我们 Hugging Face 团队的许多机器学习研究人员和开发人员来说是非常个人化的。Hugging Face 是一家国际公司，我们中的许多人存在于不同的国家和文化之间。当我们看到我们所努力开发的技术在保护像我们这样的人时没有足够的关注时，我们很难完全表达我们的紧迫感；尤其是当这些系统导致了歧视性错误逮捕或不当的经济困扰，并且越来越多地被销售给世界各地的移民和执法机构时。同样，当我们的身份在训练数据集中被常规压制或在“生成型人工智能”系统的输出中被低估时，这些问题与我们每天的生活经历产生了有同时启迪和负担的联系。

虽然我们自己的经历远远不能涵盖机器学习介导的歧视可能对与我们经历不同的人造成的多种伤害，但它们提供了考虑技术中固有的权衡的切入点。我们致力于这些系统的研究工作，因为我们坚信机器学习的潜力——我们认为只要它以关注部署环境中的人的需求和意见为前提，而不是作为一种大小适合所有的灵丹妙药，它就可以作为一种有价值的工具发挥光芒。特别是，要实现这种关注，需要对机器学习开发过程中的机器偏见机制有更好的理解，并开发支持所有技术水平的人参与关于如何分配机器学习好处和伤害的必要对话的工具。

本篇博客文章来自Hugging Face Ethics and Society的定期作者，提供了关于我们如何工作、正在工作或建议HF生态系统库用户在机器学习开发过程的各个阶段如何解决偏见以及我们开发的支持这一过程的工具的概述。我们希望您会发现这是一个有用的资源，可以指导您对工作的社会影响进行具体考虑，并可以利用这里提到的工具来帮助减轻这些问题的发生。

将偏见置于背景中

处理机器偏见时，第一个也许是最重要的概念是背景。在他们关于自然语言处理中偏见的基础性工作中，Su Lin Blodgett等指出：“[大多数关于机器偏见的学术研究]未能批判性地参与到首先构成“偏见”的事物中”，包括通过对“什么样的系统行为对谁以何种方式有害，并为什么”这一问题进行未明示的假设来构建他们的工作。

这可能不会让人感到惊讶，因为机器学习研究界关注的是“泛化”的价值——在“性能”之后是该领域工作的最常引用动机。然而，虽然适用于广泛场景的偏见评估工具对于对模型行为中常见趋势的广泛分析是有价值的，但它们在针对导致具体用例中的歧视的机制方面的能力本质上是有限的。在ML开发周期中使用它们来指导具体决策通常需要额外的一两步来考虑系统的特定使用背景和受影响的人们。

来自模型卡片指南关于ML使用背景和人们的一些考虑摘录

现在让我们更深入地了解将独立/无背景的ML工件中的偏见与特定伤害联系起来的问题。将机器偏见视为歧视性伤害的风险因素可能是有用的。以文本到图像模型为例，当提示要创建一个在职场环境中的人的图片时，该模型过度呈现浅色肤色，但当提示提到犯罪时，它产生较深的肤色。这些倾向就是我们所称的模型层面的机器偏见。现在让我们考虑几个使用这样一个文本到图像模型的系统：

1. 该模型被集成到网站创建服务（例如SquareSpace，Wix）中，以帮助用户生成页面的背景。该模型明确禁用生成的背景中的人物图片。
   • 在这种情况下，机器偏见“风险因素”不会导致歧视伤害，因为偏见的焦点（人物图片）在使用案例中不存在。
   • 机器偏见不需要进一步的风险缓解，尽管开发人员应该注意关于在商业系统中集成基于爬取数据进行训练的系统的合法性的持续讨论。
2. 该模型被集成到库存图片网站中，为用户提供合成的人物图片（例如在职场环境中），用户可以在减少隐私问题的情况下使用这些图片，例如用作维基百科文章的插图。
   • 在这种情况下，机器偏见作用是锁定和放大现有的社会偏见。它加强了有关人们的刻板印象（“首席执行官都是白人男性”），然后将其反馈到复杂的社会系统中，在这些系统中，增加的偏见会以许多不同方式导致增加的歧视（例如在工作场所加强内隐偏见）。
   • 缓解策略可能包括向库存图片用户教育这些偏见，或者库存图片网站可以策划生成的图片，有意提出更多样化的代表性。
3. 该模型被集成到面向警察部门的“虚拟素描艺术家”软件中，该软件将根据口头证词生成嫌疑人的照片。
   • 在这种情况下，机器偏见直接导致歧视，通过有系统地指向较深肤色的人，使他们面临更大的伤害风险，包括身体伤害和非法监禁。
   • 在这种情况下，没有任何程度的偏见缓解能使风险变得可以接受。特别是，这样的用例与执法上下文中的人脸识别密切相关，类似的偏见问题已导致几个商业实体和立法机构采取停顿或全面禁止其使用的暂停。

那么，谁对ML中的机器偏见负责？这三种情况说明了为什么讨论ML开发人员在解决偏见方面的责任会变得如此复杂的原因之一：根据其他人在ML系统开发过程中做出的决策，ML数据集或模型中的偏见可能会处于与应用设置无关的地方，也可能直接导致严重伤害。然而，在所有这些情况下，模型/数据集中的偏见越强烈，负面结果的风险就越高。欧盟已经开始制定框架来应对最近的监管努力中的这种现象：简而言之，部署基于具有可衡量偏见的模型的AI系统的公司对系统造成的伤害负有责任。

将偏见概念化为一种风险因素，能够让我们更好地理解机器偏见在各个开发阶段之间的共同责任。偏见永远无法完全消除，尤其是因为社会偏见的定义以及将其与歧视联系起来的权力动态在不同社会背景下差异巨大。不过：

1. 从任务规范、数据集策划和模型训练到模型整合和系统部署的开发过程的每个阶段，都可以采取措施来最大程度地减少与其选择和技术决策直接相关的机器偏见的方面**，以及
2. 各个机器学习开发阶段之间的清晰沟通和信息流可以决定是选择每个选择来减轻偏见的负面潜力（如上面部署方案1中的多管齐下的偏见缓解方法），还是选择加剧这种负面潜力以增加危害风险（如上面部署方案3中的选择）。

在下一节中，我们将回顾这些不同阶段以及在每个阶段中可以帮助我们解决机器偏见的一些工具。

贯穿机器学习开发周期解决偏见

准备好接受一些实用的建议了吗？我们开始吧 🤗

开发机器学习系统没有一种单一的方式；其中的步骤按照一些因素的不同顺序进行，包括开发环境（大学、大型公司、初创公司、基层组织等）、模态（文本、表格数据、图像等）以及公开可用的机器学习资源的重要性或稀缺性。然而，我们可以确定在解决偏见问题时特别感兴趣的三个常见阶段。这些阶段是任务定义、数据策划和模型训练。让我们看看在这些不同阶段中如何处理偏见。

Meg的偏见机器学习流程

我正在定义我的机器学习系统的任务，我该如何解决偏见？

系统中的偏见具体对人们产生的影响程度取决于该系统的用途。因此，开发人员可以通过决定机器学习在系统中的作用来减轻偏见，例如决定它将使用的优化目标。

例如，让我们回到首个公开报道的一个生产中使用的机器学习系统，该系统用于算法内容推荐。从2006年到2009年，Netflix举办了Netflix奖，这是一项比赛，奖金为100万美元，挑战全球团队开发机器学习系统，根据用户过去的评分准确预测用户对新电影的评分。获胜的作品使得在未见用户-电影配对上的预测的均方根误差（RMSE）比Netflix自己的CineMatch算法提高了10%以上，这意味着它在预测用户根据其历史评分来评价新电影时变得更加准确。这种方法为现代算法内容推荐带来了很多机会，使得公众意识到机器学习在建模用户偏好方面的作用。

那么这与偏见有什么关系呢？向用户展示他们过去喜欢的更多示例最终会减少他们消费媒体的多样性。这不仅会导致用户在长期内更不满意，还意味着如果模型在持续的机器学习中进一步训练，那么任何捕捉到初始模型中的偏见或刻板印象（比如在对美国黑人用户的偏好建模时或者对一些艺术家系统性不利的动态建模时）的偏见或刻板印象都有可能得到加强。这反映了我们上面提到的两种与偏见相关的关注点：训练目标作为偏见相关危害的风险因素，使得先前存在的偏见在预测中更有可能出现，而任务框架则会锁定并加剧过去的偏见。

在这个阶段，一种有希望的偏见缓解策略是在应用机器学习进行算法内容推荐时，明确考虑到用户参与度和多样性来重新构思任务。用户在长期内可能会获得更多的满足感，上面提到的加剧偏见的风险也会降低！

这个例子用来说明在ML支持的产品中机器偏见的影响不仅取决于我们决定在哪里利用ML，还取决于ML技术如何与更广泛的技术系统集成，以及它们的目标是什么。当您首次研究ML如何适用于您感兴趣的产品或用例时，我们首先建议在深入研究可用模型或数据集之前，通过偏见的视角来寻找系统的失效模式-如果ML预测加剧了偏见，该领域现有系统的哪些行为会对用户产生特别有害或更有可能发生？

我们建立了一个工具，通过这些问题引导用户进行算法内容管理的另一个案例：自动内容审核中的仇恨言论检测。例如，我们发现浏览一些不特别关注技术的新闻和科学文章已经是了解偏见存在的好方法。一定要去看一看，了解模型和数据集如何与部署环境相匹配，以及它们与已知的与偏见相关的伤害之间的关系！

ACM任务探索工具由 Angie、Amandalynne 和 Yacine 创建

任务定义：建议

与ML任务定义和部署相关的偏见相关风险的影响方式与ML系统的应用方式一样多。如上面的例子所示，一些常见的步骤可能有助于决定是否以及如何应用ML以最小化偏见相关风险，包括：

• 调查：
  • ML之前领域中的偏见报告
  • 针对您特定用例的风险人口类别
• 检查：
  • 优化目标对强化偏见的影响
  • 有利于多样性和积极长期影响的替代目标

我正在为我的ML系统挑选/策划一个数据集，如何解决偏见问题？

虽然训练数据集不是ML开发周期中偏见的唯一来源，但它们起着重要的作用。你的数据集是否不成比例地将女性的传记与生活事件相关联，而将男性的传记与成就相关联？这些 刻板印象 可能会出现在您的完整ML系统中！你的语音识别数据集是否只包含特定口音？这对于您构建的技术的包容性来说不是一个好迹象，涉及到不同的性能！无论您是为ML应用策划数据集还是选择数据集来训练ML模型，了解、减轻并传达数据在多大程度上表现出这些现象都是减少偏见相关风险的必要步骤。

通过思考数据的来源、数据中所代表的人群以及策划过程，您通常可以对数据集中可能存在的偏见有一个相当好的了解。已经提出了几种用于进行这种反思和文档化的框架，例如用于NLP的数据声明或数据集的数据表。Hugging Face Hub包含了一个由这些作品启发的数据集卡片模板和指南；关于使用数据的注意事项通常是寻找有关显著偏见信息的好地方，如果您正在浏览数据集，或者如果您正在分享一个新的数据集，则可以撰写一段关于该主题的见解。如果您需要更多关于如何填写这部分的灵感，可以查看BigLAM组织为历史数据集、图像分类和新闻报纸撰写的这些部分。

社会影响和偏见部分的HF数据集卡片指南

虽然描述数据集的起源和背景始终是理解其中潜在偏见的良好起点，但通过量化编码这些偏见的现象同样有帮助。如果您在两个不同的数据集之间进行选择，用于执行特定任务，或者在不同数据集上训练的两个ML模型之间进行选择，了解哪个更好地代表了您ML系统用户群体的人口构成可以帮助您做出明智的决策，以最小化与偏见相关的风险。如果您通过从一个来源过滤数据点或选择添加新的数据来源来逐步策划数据集，测量这些选择对您整体数据集中的多样性和偏见的影响可以使其更安全地使用。

我们最近发布了两个工具，您可以利用它们通过有偏见的视角来衡量您的数据。disaggregators🤗库提供了用于量化数据集组成的实用程序，可以使用元数据或利用模型推断数据点的属性。这对于最小化与偏见相关的表达伤害或训练模型的不同性能的风险尤其有用。看一下演示，看看它如何应用于LAION、MedMCQA和The Stack数据集！

Disaggregator工具由 Nima 创建

一旦您获得了有关数据集组成的一些有用统计信息，您还需要查看数据项中特征之间的关联，特别是可能编码贬低性或其他负面刻板印象的关联。我们去年首次引入的数据测量工具可以通过查看文本数据集中术语之间的归一化点互信息（nPMI）来实现这一点，特别是性别代词之间可能表示性别刻板印象的关联。自己运行它，或者在一些预先计算的数据集上尝试一下！

由 Meg、Sasha、Bibi 和 Gradio 团队提供的数据测量工具

数据集选择/策划：建议

这些工具本身并不是完整的解决方案，而是旨在通过多个角度支持数据集的关键审查和改进，包括偏见和偏见相关风险的角度。总的来说，当利用这些和其他工具来减轻数据集策划/选择阶段的偏见风险时，我们鼓励您记住以下几个步骤：

• 识别：
  • 可能加剧特定偏见的数据集创建方面
  • 对数据集任务和领域特别重要的人口统计类别和社会变量
• 测量：
  • 数据集中的人口分布
  • 已知的负面刻板印象
• 记录：
  • 在您的数据集卡片中分享您已经识别和测量到的内容，以使其他用户、开发者和受影响的人受益
• 适应：
  • 选择最不容易引起偏见相关伤害的数据集
  • 通过以减少偏见风险为目标改进数据集

我正在为我的机器学习系统训练/选择模型，我该如何解决偏见问题？

与数据集策划/选择步骤类似，记录和测量模型中与偏见相关的现象可以帮助选择使用现有模型或微调模型的机器学习开发者，以及希望训练自己模型的机器学习开发者。对于后者，模型中与偏见相关现象的度量可以帮助他们从其他模型的成功或失败中学习，并作为指导他们自己开发选择的信号。

模型卡片最初由（Mitchell等人，2019）提出，为模型报告提供了一个框架，展示与偏见风险相关的信息，包括广泛的伦理考虑、细分的评估和用例建议。Hugging Face Hub还提供了更多关于模型文档的工具，包括Hub文档中的模型卡片指南，以及一个可以轻松创建新模型的详尽模型卡片的应用程序。

由 Ezi、Marissa 和 Meg 提供的模型卡片编写工具

文档是分享有关模型行为的一种很好的第一步，但通常是静态的，并向所有用户呈现相同的信息。在许多情况下，特别是对于可以生成输出以逼近其训练数据分布的生成模型来说，通过可视化和对比模型输出，我们可以更加全面地了解与偏见相关的现象和负面刻板印象。获取模型生成结果可以帮助用户将模型行为中与他们生活经验相对应的交叉问题，以及评估模型在不同形容词上复制性别刻板印象的程度。为了促进这一过程，我们构建了一个工具，让您不仅可以比较一组形容词和职业的生成结果，还可以比较不同模型之间的生成结果！去试试，了解哪个模型在您的使用场景中可能具有最小的偏见风险。

由 Sasha 提供的图像生成中形容词和职业偏见可视化

模型输出的可视化不仅适用于生成模型！对于分类模型，我们还希望关注模型在不同人口群体中的不同表现所引起的与偏见相关的伤害。如果您知道哪些受保护类别最容易受到歧视，并在评估集中进行了注释，那么您可以报告模型卡片中不同类别的细分性能，如上所述，以便用户可以做出明智的决策。然而，如果您担心自己没有识别出所有受到偏见相关伤害风险的人口，或者如果您无法访问带注释的测试示例来测量您怀疑的偏见，那么交互式可视化工具可以帮助您了解模型失败的位置和方式！为了帮助您进行此操作，SEAL应用程序将模型的相似错误分组，并向您显示每个群集中的一些常见特征。如果您想进一步，甚至可以将其与我们在数据集部分介绍的分割器库结合起来，以找到表明与偏见相关的故障模式的群集。

系统误差分析与标注（SEAL）作者：Nazneen

最后，存在一些可以衡量模型中与偏见相关现象的基准。对于语言模型，像BOLD、HONEST或WinoBias这样的基准提供了定量评估，这些评估指示了模型中存在偏见的有针对性行为。尽管这些基准有其局限性，但它们提供了一种有限的视角，可以帮助描述模型的功能或在不同模型之间进行选择。您可以在这个探索空间中找到这些基准在一系列常见语言模型上的预计算结果，以初步了解它们的比较情况！

语言模型偏见检测作者：Sasha

即使您可以访问考虑的模型的基准，您可能会发现在自己的计算资源上运行评估可能非常昂贵或技术上不可能。我们今年发布的Hub工具上的评估可以帮助解决这个问题：它不仅会为您运行评估，还会帮助将其与模型文档连接起来，以便结果一次性地可用 – 这样每个人都可以看到，例如，大小可测量地增加了OPT等模型中的偏见风险！

由Helen、Tristan、Abhishek、Lewis和Douwe使用Hub上的评估计算的大型模型WinoBias分数

模型选择/开发：建议

对于数据集和模型一样，不同的文档和评估工具将提供模型中偏见风险的不同视角，这些工具在帮助开发者选择、开发或理解ML系统方面都发挥了一定作用。

• 可视化
  • 生成模型：可视化模型的输出如何反映刻板印象
  • 分类模型：可视化模型错误，以识别可能导致不同性能的失败模式
• 评估
  • 可能时，对相关基准进行模型评估
• 文档
  • 从可视化和定性评估中分享您的经验
  • 报告模型的分解性能以及适用公平性基准的结果

结论和来自🤗的偏见分析和文档工具概述

随着我们在越来越多的应用中利用ML系统，公平地获得其好处将取决于我们积极减轻与技术相关的偏见风险的能力。在任何可能的情况下，没有单一的答案来回答如何最好地完成这项工作，但我们可以通过共享经验、工具和方法来减轻和记录这些风险的方式来相互支持。本博客文章概述了Hugging Face团队成员解决偏见问题以及相关支持工具的一些方法，希望您会发现它们有帮助，并鼓励您开发和分享自己的方法！

链接工具的摘要：

• 任务：
  • 浏览我们的ML任务目录，了解可供选择的技术框架和资源
  • 使用工具来探索特定任务的完整开发生命周期
• 数据集：
  • 利用和贡献数据集卡，共享有关数据集中偏见的相关见解。
  • 使用Disaggregator来寻找可能的不同性能
  • 查看数据集的聚合测量，包括nPMI，以显示可能的刻板印象关联
• 模型：
  • 利用和贡献模型卡，共享有关模型中偏见的相关见解。
  • 使用交互式模型卡来可视化性能差异
  • 查看系统性模型错误，并注意已知的社会偏见
  • 使用Evaluate和Evaluation on the Hub来探索语言模型偏见，包括在大型模型中
  • 使用文本到图像偏见探测器来比较图像生成模型的偏见
  • 使用偏见评分卡比较LM模型

感谢您的阅读！🤗

~ Yacine，代表伦理与社会固定成员

如果您想引用这篇博客文章，请使用以下内容：

@inproceedings{hf_ethics_soc_blog_2,
  author    = {Yacine Jernite and
               Alexandra Sasha Luccioni and
               Irene Solaiman and
               Giada Pistilli and
               Nathan Lambert and
               Ezi Ozoani and
               Brigitte Toussignant and
               Margaret Mitchell},
  title     = {Hugging Face Ethics and Society Newsletter 2: 让我们谈谈偏见！},
  booktitle = {Hugging Face Blog},
  year      = {2022},
  url       = {https://doi.org/10.57967/hf/0214},
  doi       = {10.57967/hf/0214}
}