在一系列戏剧性的事件中，无人驾驶出租车（Robotaxis）最近在旧金山开始运营。经过7小时的充满争议的公开听证会后，该决定被加州公共事业委员会正式通过。尽管遭到抗议，但人们感到这是一种必然趋势。自2022年初以来，加州一直在逐渐放宽限制。根据新规定，获得许可的两家公司——Alphabet的Waymo和GM的Cruise——可以将这些出租车送往这个7平方英里的城市的任何地方，除了高速公路，并向乘客收取车费。
自动驾驶出租车的理念往往会引发两种相互冲突的情绪：兴奋（“以更低的成本搭乘出租车！”）和恐惧（“它们会撞到我或我的孩子吗？”）因此，监管机构通常要求在事故发生之前，车辆必须经过载客测试，以便乘客能够介入并管理控制。不幸的是，让人类随时准备好实时干预系统可能不是确保安全的最佳方式。
事实上，截至今年2月，美国与自动驾驶汽车事故有关的18起死亡事件中，全部都涉及到某种形式的人类控制，无论是在车内还是远程控制。其中包括最著名的一起事故，发生在2018年的亚利桑那州坦佩的宽阔郊区道路上的深夜。一辆由Uber测试的自动化汽车撞死了一名叫Elaine Herzberg的49岁女子，她正推着自行车准备过马路。乘坐在副驾驶座位上的人类操作员正在低头看着手机，直到撞击发生前不到一秒钟才收到警报。他们太晚才抓住方向盘。这起事故导致Uber暂停了自动驾驶汽车的测试。最终，Uber出售了其自动化汽车部门，这曾是其业务战略的重要组成部分。
由于对自动化的过度自信，这名操作员最终坐牢。过度自信是AI系统中经常出现的一种动态。系统的自主性越高，操作员越容易相信它并且不会完全注意。我们对监控这些技术感到无聊。当真正即将发生事故时，我们既没有预料到也没有及时作出反应。
人类天生具备风险专家Ron Dembo所称的“风险思维”能力，即一种即使是最先进的机器学习也无法模拟的思维方式。这种能力可以在答案不明显的时候，意识到我们应该减速或停下来。风险思维对于自动化系统至关重要，这就产生了一个困境。人类希望参与其中，但是当我们过度依赖自动化系统时，让我们掌控决策可能实际上会让事情变得更糟。
那么，自动化系统的开发者如何解决这个困境，以确保像在旧金山进行的这个实验能够取得积极的结果呢？答案是在事故发生之前的早期设计和开发阶段进行额外的勤勉。所有的AI系统在未受检查的情况下都存在风险。即使自动驾驶汽车的安全性平均上可能比人驾驶的汽车更高，它们也不会完全没有风险。
Uber的事故展示了当我们没有以故意的方式进行风险思考时会发生什么。为了做到这一点，我们需要创造性的摩擦：在这些系统发布之前，引入多个人类的观点。换句话说，需要考虑AI系统的影响而不仅仅是应用，需要考虑到将直接受到技术影响的社区的观点。
Waymo和Cruise都为他们的车辆的安全记录进行了辩护，理由是统计概率。尽管如此，这个决定将把旧金山变成一个活生生的实验。当结果统计出来时，捕捉到正确的数据、分享成功和失败，并让受影响的社区与专家、政治家和商人一起发表意见将变得非常重要。换句话说，要让所有的人都参与其中。否则，我们将面临自动化依赖——将决策委托给AI系统——的巨大风险。
朱丽叶·鲍威尔（Juliette Powell）和阿特·克莱纳（Art Kleiner）是新书《AI困境：负责任技术的7个原则》的合著者。