Tag: RAI-HCT Highlights

由Google研究的技术项目经理，社会背景理解工具和解决方案（SCOUTS）主管Donald Martin, Jr.发布 与人工智能相关的产品和技术是在社会背景下构建和部署的：即社会、文化、历史、政治和经济环境的动态和复杂的集合。因为社会背景本质上是动态、复杂、非线性、有争议、主观和高度定性的，所以将其转化为定量表示、方法和实践是具有挑战性的，而标准机器学习（ML）方法和负责任的人工智能产品开发实践则占据主导地位。 AI产品开发的第一个阶段是问题理解，而这个阶段对问题的理解（例如，提高癌症筛查的可用性和准确性）对于ML系统的解决以及许多其他下游决策（例如数据集和ML架构选择）有着巨大的影响。当产品将要操作的社会背景没有被充分表述出来以产生强大的问题理解时，产生的ML解决方案可能脆弱甚至传播不公平的偏见。 当AI产品开发人员缺乏在开发过程中有效理解和考虑社会背景所需的知识和工具时，他们往往会将其抽象化。这种抽象化使他们对他们试图解决的问题具有浅显的定量理解，而产品用户和社会利益相关者——他们与这些问题密切相关，并嵌入相关的社会背景中——往往对这些问题有深入的定性理解。这种定性-定量分歧的方式，将产品用户和社会与开发人员分开对待复杂问题的理解，我们称之为问题理解鸿沟。 这个鸿沟在现实世界中产生了影响：例如，它是一种根本原因，导致了一个广泛使用的医疗保健算法中发现的种族偏见，该算法旨在解决选择具有最复杂医疗需求的患者进入特殊计划的问题。对算法将要操作的社会背景的不完全理解，导致系统设计者形成了关于关键问题因素的错误和过度简化的因果理论。关键的社会结构因素，包括医疗保健的缺乏、对医疗保健系统的不信任以及由于人为偏见而导致的诊断不足，被忽略，而医疗保健支出被强调为复杂健康需求的预测因素。 为了负责地弥合问题理解鸿沟，AI产品开发人员需要工具，使他们能够轻松获得社区经过验证的、结构化的关于复杂社会问题的社会背景知识——从问题理解开始，但在整个产品开发生命周期中都要使用。为此，Google研究内负责AI问题理解和以人为中心的技术（RAI-HCT）团队的一部分的社会背景理解工具和解决方案（SCOUTS）是一个专门的研究团队，致力于“为人们提供可扩展的、可靠的社会背景知识，以实现负责任、强大的AI并解决世界上最复杂的社会问题。”SCOUTS的动力来自于表述社会背景的重大挑战，并进行创新的基础和应用研究，以产生结构化的社会背景知识，并将其整合到与AI相关的产品开发生命周期的所有阶段。去年，我们宣布，Google的孵化器Jigsaw利用我们的结构化社会背景知识方法在模型开发的数据准备和评估阶段扩大了其广泛使用的Perspective API毒性分类器的偏见缓解。今后，SCOUTS的研究议程将重点放在与AI相关的产品开发的问题理解阶段，目标是弥合问题理解鸿沟。 弥合AI问题理解鸿沟 弥合AI问题理解鸿沟需要两个关键要素：1) 用于组织结构化社会背景知识的参考框架；2) 用于征集社区专家关于复杂问题的参与式、非剥夺性方法，并将其表示为结构化知识。SCOUTS在这两个领域都发布了创新研究。 问题理解鸿沟的示意图。 社会背景参考框架 产生结构化知识的基本要素是用于创建组织结构的分类法。SCOUTS与其他RAI-HCT团队（TasC、Impact Lab）、Google DeepMind和外部系统动力学专家合作，共同开发了一个用于社会背景的分类参考框架。为了应对社会背景的复杂、动态和适应性特征，我们利用复杂自适应系统（CAS）理论提出了一个高层次的分类模型，用于组织社会背景知识。该模型强调了社会背景的三个关键要素和将它们联系在一起的动态反馈循环：代理、观念和构件。 代理：可以是个人或机构。 观念：限制和推动代理行为的先入之见，包括信念、价值观、刻板印象和偏见。一个基本观念的例子是“所有篮球运动员身高超过6英尺”。这种限定性的假设可能导致无法识别身材较小的篮球运动员。 构件：代理行为会产生许多种类的构件，包括语言、数据、技术、社会问题和产品。 这些实体之间的关系是动态且复杂的。我们的工作假设规范是社会背景中最关键的元素，我们强调人们感知到的问题和他们对这些问题存在的原因的因果理论，这些理论对于理解社会背景至关重要。例如，在前面描述的医疗算法中存在的种族偏见的情况下，设计师持有的因果理论是复杂的健康问题会导致所有人口群体的医疗支出增加。这个错误的理论直接导致了选择医疗支出作为模型预测复杂医疗需求的代理变量，进而导致模型对于黑人患者存在偏见，因为由于社会因素，比如医疗资源不足和偏见导致的诊断不足，黑人患者在有复杂医疗需求时并不总是花费更多的医疗费用。一个关键的未解决问题是，我们如何在道德和公平的前提下从最贴近不平等问题的人和社区中获取因果理论，并将它们转化为有用的结构化知识？ 社会背景参考框架的示意版本。 社会背景参考框架的分类版本。 与社区合作，促进人工智能在医疗保健领域的负责任应用…