反思和教训：与世界分享我们最重大突破的感悟
将我们解决智能以推进科学和造福人类的使命付诸实践是伴随着重要责任的。为了帮助创造积极的社会影响，我们必须积极评估我们的研究以及其应用的伦理影响，以严谨和慎重的方式。我们也知道每一项新技术都有潜在的危害，并且我们认真对待长期和短期的风险。我们从一开始就将我们的基础建立在负责任的先驱之上 – 特别关注负责任的治理、研究和影响。
这从制定明确的原则开始，有助于实现人工智能（AI）的益处，同时减轻其风险和潜在的负面影响。负责任的先驱是集体努力，这就是为什么我们为许多AI社区标准做出了贡献，如谷歌、AI伙伴关系和经济合作与发展组织（OECD）制定的标准。
我们的运营原则不仅定义了我们优先考虑普遍利益的承诺，也定义了我们拒绝追求的研究和应用领域。这些原则从DeepMind成立以来一直是我们决策的核心，并在AI领域的变化和发展中不断完善。它们是为我们作为一个以研究为驱动的科学公司而设计的，并与谷歌的AI原则一致。
从原则到实践
书面原则只是谜题的一部分 – 将其付诸实践是关键。对于在AI前沿进行的复杂研究，这带来了重大挑战：研究人员如何预测可能发生在遥远未来的益处和伤害？我们如何从广泛的视角开展更好的伦理前瞻？以及在科学进展的同时如何探索困难问题，以防止负面后果？
多年来，我们在DeepMind内部开发了负责任治理、研究和影响的技能和流程，包括创建内部工具包、发表关于社会技术问题的论文，支持增加AI领域的审议和前瞻。为了帮助DeepMind团队负责任地开拓，并防范危害，我们的跨学科机构审查委员会（IRC）每两周会议一次，仔细评估DeepMind的项目、论文和合作。
负责任的先驱是一种集体的能力，每个项目都是加强我们共同技能和理解的机会。我们精心设计的审查流程包括来自各个学科领域的轮换专家，机器学习研究人员、伦理学家和安全专家与工程师、安全专家、政策专业人员等并肩工作。这些多样化的声音定期发现扩大我们技术益处的方法，建议改变或减缓研究和应用领域，并强调需要进一步进行外部咨询的项目。
虽然我们取得了很大的进展，但其中许多方面尚属未知领域。我们不会每次都做得正确，并致力于不断学习和改进。我们希望分享我们当前的流程对于其他从事负责任AI工作的人有所帮助，并鼓励在我们继续学习的过程中提供反馈，这也是为什么我们详细介绍了我们最复杂和有回报的项目之一 – AlphaFold 的反思和教训。我们的AlphaFold AI系统解决了蛋白质结构预测的50年难题 – 自从去年向更广泛的社区发布以来，我们非常高兴看到科学家们将其用于加速可持续发展、食品安全、药物发现和基础人类生物学等领域的进展。
专注于蛋白质结构预测
我们的机器学习研究人员、生物学家和工程师团队长期以来一直将蛋白质折叠问题视为AI学习系统创造重大影响的一次卓越和独特的机会。在这个领域，有成功或失败的标准衡量，并且AI系统需要做的事情非常清晰 – 预测蛋白质的三维结构。而且，就像许多生物系统一样，蛋白质折叠对于任何人来说都太复杂了，无法为其编写工作原理的规则。但是AI系统也许可以自己学习这些规则。
另一个重要因素是两年一次的评估，即蛋白质结构预测的临界评估（CASP），该评估由约翰·莫尔特教授和克日什托夫·菲德利斯教授创立。每次聚会，CASP都提供了一个异常强大的进展评估，要求参与者预测最近通过实验发现的结构。结果对于雄心勃勃的研究和科学卓越是一个巨大的催化剂。
理解实际机会和风险
当我们为2020年的CASP评估做准备时，我们意识到AlphaFold在解决当前挑战方面显示出巨大潜力。我们花了大量时间和精力分析实际意义，质疑：AlphaFold如何加速生物研究和应用？可能会有哪些意外后果？我们如何以负责任的方式分享我们的进展？
这提出了许多机会和风险需要考虑，其中许多领域并不一定是我们的专业强项。因此，我们寻求了来自生物研究、生物安全、生物伦理学、人权等领域的30多位领域专家的外部意见，注重专业知识和背景的多样性。
这些讨论中出现了许多一致的主题：
- 平衡广泛利益和风险。我们从谨慎的心态开始考虑意外或故意伤害的风险，包括AlphaFold与未来进展和现有技术的互动。通过与外部专家的讨论，AlphaFold并不会使利用蛋白质造成伤害变得更加容易，考虑到这方面的许多实际障碍，但未来的进展需要进行仔细评估。许多专家强烈主张，作为与许多科学研究领域相关的进展，AlphaFold通过免费和广泛的使用将带来最大的利益。
- 准确的置信度测量对于负责任的使用至关重要。实验生物学家解释了理解和共享AlphaFold预测的每个部分的校准和可用置信度指标的重要性。通过标识哪些AlphaFold预测可能准确，用户可以估计何时可以信任预测并在工作中使用它，以及何时应该在研究中使用替代方法。我们最初考虑省略AlphaFold置信度较低或预测不确定性较高的预测，但我们咨询的外部专家证明了为什么在我们的发布中保留这些预测尤为重要，并向我们提供了呈现这些信息的最有用和透明的方式的建议。
- 公平受益可能意味着对资金不足领域的额外支持。我们进行了许多关于如何避免在科学界内部不慎增加差距的讨论。例如，所谓的疏忽热带病，这些疾病对世界上较贫困地区的影响较大，通常接受的研究资金较少。我们强烈被鼓励优先提供实际支持，并积极寻求与在这些领域工作的团体合作。
建立我们的发布方法
基于上述意见，IRC认可了一系列AlphaFold发布，以满足多种需求，包括：
- 同行评议的出版物和开源代码，包括两篇发表在《自然》杂志上的论文，附带开源代码，使研究人员更容易实施和改进AlphaFold。之后，我们添加了一个Google Colab，允许任何人输入蛋白质序列并获得预测的结构，作为运行开源代码的替代方法。
- 与EMBL-EBI（EMBL欧洲生物信息学研究所）合作的重要蛋白质结构预测发布，作为社区领导者。作为一个公共机构，EMBL-EBI使任何人都可以像进行谷歌搜索一样查找蛋白质结构预测。最初发布了人体内每种蛋白质的预测形状，我们最近的更新包括几乎所有已知科学上记录的蛋白质的预测结构。这总共超过2亿个结构，全部以EMBL-EBI网站上的开放许可证免费提供，附带支持资源，如解释这些结构的网络研讨会。
- 将3D可视化集成到数据库中，对预测的高置信度和低置信度区域进行突出标记，并在我们的文档中尽可能清晰地说明AlphaFold的优势和局限性。我们还设计数据库尽可能易于访问，例如考虑色觉缺陷人士的需求。
- 与在资金不足领域进行研究的研究团体建立更深入的合作伙伴关系，例如疏忽疾病和对全球健康至关重要的主题。这包括正在推进对恙虫病和利什曼病的研究的DNDi（忽视疾病药物倡议）以及正在开发消化塑料酶以帮助减少环境中的塑料废物的酶的中心。我们不断增长的公众参与团队将继续在这些合作伙伴关系上工作，以支持未来的更多合作。
我们如何在这项工作基础上继续努力
自我们最初发布以来，来自190个国家的数十万人访问了AlphaFold蛋白质结构数据库，并使用了自首次发布以来的AlphaFold开源代码。我们很荣幸听到AlphaFold的预测如何加快了重要科学工作，并正在通过我们的Unfolded项目来讲述其中的一些故事。到目前为止，我们还没有意识到与AlphaFold相关的任何滥用或伤害，但我们仍在密切关注这个问题。
虽然AlphaFold比大多数DeepMind研究项目更复杂，但我们正在利用我们所学到的知识，并将其纳入其他发布中。
我们正在通过以下方式在这项工作上继续努力：
- 在整个过程的每个阶段增加外部专家的参与，并探索更大规模的参与伦理机制。
- 在整体上拓宽我们对于生物AI的理解，超越任何个别项目或突破，以便对未来的机会和风险有更强的观点。
- 寻找扩大我们与当前结构服务不足领域的团体的合作伙伴关系的方式。
就像我们的研究一样，这是一个持续学习的过程。为了广泛的利益而发展人工智能是一个社区的努力，远远超出了DeepMind的范围。
我们正在尽一切努力意识到与他人合作中仍然需要付出多少艰苦努力，以及我们如何负责任地开拓前进。