新的研究提出了一个系统，用于确定假设医疗环境中预测性人工智能的相对准确性，并确定何时应该将系统交给人类临床医生。人工智能（AI）在各个行业中都有很大的潜力来提升人们的工作方式。但是，为了以安全和负责任的方式将AI工具整合到工作场所中，我们需要开发更强大的方法来理解它们什么时候最有用。那么什么时候AI更准确，什么时候是人类呢？这个问题在医疗保健领域尤为重要，因为预测性AI在高风险任务中越来越多地被用于辅助临床医生。今天在《自然医学》杂志上，我们与谷歌研究合作发表了一篇论文，提出了CoDoC（基于互补性驱动的临床工作流程推迟）系统，该系统学习何时依赖预测性AI工具或者推迟给临床医生进行最准确的医学图像解读。CoDoC探讨了我们如何在假设的医疗环境中利用人工智能协作，以提供最佳结果。在一个示例场景中，CoDoC在一个大型的英国乳腺X光数据集上将误报减少了25%，与常用的临床工作流程相比-而没有漏掉任何真实阳性。这项工作是与包括联合国项目服务办公室的停止结核伙伴关系在内的几家医疗组织的合作。为了帮助研究人员在现实世界中改进AI模型的透明度和安全性，我们还在GitHub上开源了CoDoC的代码。CoDoC：人工智能协作的附加工具。构建更可靠的AI模型通常需要重新设计预测性AI模型的复杂内部工作方式。然而，对于许多医疗服务提供商来说，重新设计预测性AI模型是不可能的。CoDoC可以帮助改进预测性AI工具，而无需修改底层的AI工具本身。在开发CoDoC时，我们有三个标准：非机器学习专家（如医疗服务提供商）应该能够部署该系统并在一台计算机上运行；培训只需要相对较少的数据-通常只需要几百个示例；该系统可以与任何专有的AI模型兼容，不需要访问模型的内部工作方式或其训练数据。确定预测性AI或临床医生何时更准确。通过CoDoC，我们提出了一个简单易用的AI系统，通过帮助预测性AI系统“知道自己不知道”的方式来提高可靠性。我们研究了一些场景，例如临床医生可能可以访问一个旨在帮助解读图像的AI工具，例如检查胸部X光片是否需要进行结核病检测。对于任何理论上的临床设置，CoDoC系统对于训练数据集中的每个案例只需要三个输入。预测性AI输出一个置信度得分，介于0（确定不存在疾病）和1（确定存在疾病）之间；临床医生对医学图像的解读；实际是否存在疾病的真实情况，例如通过活检或其他临床后续进行确认。注意：CoDoC不需要访问任何医学图像。
CoDoC学习建立预测AI模型相对于临床医生解读的相对准确性，并且了解该关系如何随着预测AI的置信度得分的波动而变化。
一旦训练完成，CoDoC可以被插入到一个假想的未来临床工作流中，其中包括AI和临床医生。当预测AI模型评估新的患者图像时，其关联的置信度得分被输入系统。然后，CoDoC评估接受AI决策还是依靠临床医生最终会导致最准确的解读。
提高准确性和效率
我们对CoDoC进行了多个真实数据集的全面测试，包括仅包含历史和去识别数据，结果显示将人类专业知识与预测AI相结合比单独使用任何一种方法都能获得更高的准确性。
在乳腺X光数据集中，我们实现了25%的假阳性减少；在假设模拟中，允许AI在某些情况下自主行动时，CoDoC能够将需要由临床医生阅读的病例数量减少三分之二。我们还展示了CoDoC如何在假设情况下改进胸部X光片的分诊，以进一步测试结核病。
负责任地开发医疗人工智能
虽然这项工作是理论性的，但它展示了我们的AI系统在解释医学影像方面在不同人口群体、临床环境、使用的医学影像设备和疾病类型之间的潜力。
CoDoC是如何将AI的好处与人类的优势和专业知识结合起来的有希望的示例。我们正在与外部合作伙伴共同严格评估我们的研究和系统的潜在益处。要将像CoDoC这样的技术安全地引入现实世界的医疗环境中，医疗服务提供者和制造商还需要了解临床医生与AI的不同交互方式，并使用特定的医疗AI工具和设置验证系统。
了解更多关于CoDoC的信息：
在GitHub上下载CoDoC的代码：http://github.com/deepmind/codoc
阅读我们在《自然医学》上的论文: https://www.nature.com/articles/s41591-023-02437-x%20