由Google研究的技术项目经理，社会背景理解工具和解决方案（SCOUTS）主管Donald Martin, Jr.发布
与人工智能相关的产品和技术是在社会背景下构建和部署的：即社会、文化、历史、政治和经济环境的动态和复杂的集合。因为社会背景本质上是动态、复杂、非线性、有争议、主观和高度定性的，所以将其转化为定量表示、方法和实践是具有挑战性的，而标准机器学习（ML）方法和负责任的人工智能产品开发实践则占据主导地位。
AI产品开发的第一个阶段是问题理解，而这个阶段对问题的理解（例如，提高癌症筛查的可用性和准确性）对于ML系统的解决以及许多其他下游决策（例如数据集和ML架构选择）有着巨大的影响。当产品将要操作的社会背景没有被充分表述出来以产生强大的问题理解时，产生的ML解决方案可能脆弱甚至传播不公平的偏见。
当AI产品开发人员缺乏在开发过程中有效理解和考虑社会背景所需的知识和工具时，他们往往会将其抽象化。这种抽象化使他们对他们试图解决的问题具有浅显的定量理解，而产品用户和社会利益相关者——他们与这些问题密切相关，并嵌入相关的社会背景中——往往对这些问题有深入的定性理解。这种定性-定量分歧的方式，将产品用户和社会与开发人员分开对待复杂问题的理解，我们称之为问题理解鸿沟。
这个鸿沟在现实世界中产生了影响：例如，它是一种根本原因，导致了一个广泛使用的医疗保健算法中发现的种族偏见，该算法旨在解决选择具有最复杂医疗需求的患者进入特殊计划的问题。对算法将要操作的社会背景的不完全理解，导致系统设计者形成了关于关键问题因素的错误和过度简化的因果理论。关键的社会结构因素，包括医疗保健的缺乏、对医疗保健系统的不信任以及由于人为偏见而导致的诊断不足，被忽略，而医疗保健支出被强调为复杂健康需求的预测因素。
为了负责地弥合问题理解鸿沟，AI产品开发人员需要工具，使他们能够轻松获得社区经过验证的、结构化的关于复杂社会问题的社会背景知识——从问题理解开始，但在整个产品开发生命周期中都要使用。为此，Google研究内负责AI问题理解和以人为中心的技术（RAI-HCT）团队的一部分的社会背景理解工具和解决方案（SCOUTS）是一个专门的研究团队，致力于“为人们提供可扩展的、可靠的社会背景知识，以实现负责任、强大的AI并解决世界上最复杂的社会问题。”SCOUTS的动力来自于表述社会背景的重大挑战，并进行创新的基础和应用研究，以产生结构化的社会背景知识，并将其整合到与AI相关的产品开发生命周期的所有阶段。去年，我们宣布，Google的孵化器Jigsaw利用我们的结构化社会背景知识方法在模型开发的数据准备和评估阶段扩大了其广泛使用的Perspective API毒性分类器的偏见缓解。今后，SCOUTS的研究议程将重点放在与AI相关的产品开发的问题理解阶段，目标是弥合问题理解鸿沟。
弥合AI问题理解鸿沟
弥合AI问题理解鸿沟需要两个关键要素：1) 用于组织结构化社会背景知识的参考框架；2) 用于征集社区专家关于复杂问题的参与式、非剥夺性方法，并将其表示为结构化知识。SCOUTS在这两个领域都发布了创新研究。
| 问题理解鸿沟的示意图。 |
社会背景参考框架
产生结构化知识的基本要素是用于创建组织结构的分类法。SCOUTS与其他RAI-HCT团队（TasC、Impact Lab）、Google DeepMind和外部系统动力学专家合作，共同开发了一个用于社会背景的分类参考框架。为了应对社会背景的复杂、动态和适应性特征，我们利用复杂自适应系统（CAS）理论提出了一个高层次的分类模型，用于组织社会背景知识。该模型强调了社会背景的三个关键要素和将它们联系在一起的动态反馈循环：代理、观念和构件。
- 代理：可以是个人或机构。
- 观念：限制和推动代理行为的先入之见，包括信念、价值观、刻板印象和偏见。一个基本观念的例子是“所有篮球运动员身高超过6英尺”。这种限定性的假设可能导致无法识别身材较小的篮球运动员。
- 构件：代理行为会产生许多种类的构件，包括语言、数据、技术、社会问题和产品。
这些实体之间的关系是动态且复杂的。我们的工作假设规范是社会背景中最关键的元素，我们强调人们感知到的问题和他们对这些问题存在的原因的因果理论，这些理论对于理解社会背景至关重要。例如，在前面描述的医疗算法中存在的种族偏见的情况下，设计师持有的因果理论是复杂的健康问题会导致所有人口群体的医疗支出增加。这个错误的理论直接导致了选择医疗支出作为模型预测复杂医疗需求的代理变量，进而导致模型对于黑人患者存在偏见，因为由于社会因素，比如医疗资源不足和偏见导致的诊断不足，黑人患者在有复杂医疗需求时并不总是花费更多的医疗费用。一个关键的未解决问题是，我们如何在道德和公平的前提下从最贴近不平等问题的人和社区中获取因果理论，并将它们转化为有用的结构化知识？
 |
| 社会背景参考框架的示意版本。 |
 |
| 社会背景参考框架的分类版本。 |
与社区合作，促进人工智能在医疗保健领域的负责任应用
自成立以来，SCOUTS一直致力于在历史上被边缘化的社区中建立能力，以使用一种称为社区基础系统动力学（CBSD）的实践来表达他们所关心的复杂问题的更广泛的社会背景。系统动力学（SD）是一种用于表达关于复杂问题的因果理论的方法，既可以定性地表示为因果循环和库存流程图（CLDs和SFDs），又可以定量地表示为模拟模型。视觉定性工具、定量方法和协作模型构建的内在支持使其成为弥合问题理解鸿沟的理想因素。CBSD是SD的一种基于社区的参与变体，专注于在社区内建立能力，直接、无需中间人地共同描述和建模他们面临的问题作为因果理论。通过CBSD，我们目睹了社区团体在2小时内学习基础知识并开始绘制CLDs。
 |
| Data 4 Black Lives社区成员学习系统动力学。 |
人工智能在改善医疗诊断方面具有巨大潜力。但AI相关的健康诊断算法的安全性、公平性和可靠性取决于多样化和平衡的训练数据集。健康诊断领域面临的一个开放挑战是历史上边缘化群体的训练样本数据不足。SCOUTS与Data 4 Black Lives社区和CBSD专家合作，为数据差距问题制定了定性和定量的因果理论。这些理论包括构成健康诊断周围更广泛社会背景的关键因素，包括对死亡的文化记忆和对医疗护理的信任。
下图将上述合作期间生成的因果理论描述为一个CLD。它假设对医疗护理的信任影响该复杂系统的所有部分，并且是增加筛查的关键杠杆，从而产生数据以弥补数据多样性差距。
 |
 |
| 健康诊断数据差距的因果循环图 |
这些社区提供的因果理论是弥合问题理解鸿沟并具有可信赖的社会背景知识的第一步。
结论
正如本博客中所讨论的，问题理解鸿沟是负责任的人工智能中的一个关键挑战。SCOUTS与Google Research内的其他团队、外部社区和学术合作伙伴进行探索性和应用性研究，跨多个学科取得有意义的进展。我们的工作将专注于三个关键要素，根据我们的AI原则进行指导：
- 通过演讲、出版物和培训增加对问题理解鸿沟及其影响的认识和理解。
- 进行基础和应用研究，将社会背景知识纳入AI产品开发工具和工作流程中，从构思到监测、评估和调整。
- 将基于社区的因果建模方法应用于AI健康公平领域，实现影响并建立社会和Google的能力，以产生和利用全球范围的社会背景知识以实现负责任的人工智能。
 |
| 弥合问题理解鸿沟的SCOUTS飞轮。 |
致谢
感谢John Guilyard进行图形开发，感谢SCOUTS团队中的每个人，以及我们的所有合作伙伴和赞助商。