Tag: Health

由Google Research的Head of Health AI Greg Corrado和VP of Engineering and Research Yossi Matias发布 医学是一门内在多模态的学科。在提供护理时，临床医生通常会解读来自各种模式的数据，包括医学影像、临床记录、实验室检验、电子健康记录、基因组学等等。在过去十年左右的时间里，人工智能系统已经在特定模态的特定任务上实现了专家级的表现。一些人工智能系统处理CT扫描，另一些分析高倍镜病理切片，还有一些寻找罕见的基因变异。这些系统的输入往往是复杂的数据，比如图像，它们通常会提供结构化的输出，无论是以离散等级还是密集图像分割掩码的形式。与此同时，大型语言模型(LLMs)的能力和功能已经非常先进，它们通过解释和用简单的语言回应来展示了对医学知识的理解和专业知识。但是，我们如何将这些能力结合起来构建能够利用所有这些信息的医学人工智能系统呢？ 在今天的博客文章中，我们概述了将多模态能力引入LLMs的一系列方法，并分享了在构建多模态医学LLMs方面的一些令人兴奋的结果，如最近的三篇研究论文所描述的。这些论文依次说明了如何将全新模态引入LLMs，如何将先进的医学成像基础模型嫁接到对话式LLMs上，以及构建真正通用的多模态医学人工智能系统的第一步。如果成功发展，多模态医学LLMs可能成为跨专业医学、医学研究和消费者应用的新辅助技术的基础。与我们之前的工作一样，我们强调需要与医疗社区和医疗生态系统合作，对这些技术进行仔细评估。 一系列方法 近几个月提出了建立多模态LLMs的几种方法[1, 2, 3]，毫无疑问，新的方法将继续涌现出来。为了了解将新模态引入医学人工智能系统的机会，我们将考虑三种广义的方法：工具使用、模型嫁接和通用系统。 建立多模态LLMs的方法从LLMs使用现有工具或模型到利用领域特定组件与适配器的融合建模，涵盖了各种方法。 工具使用 在工具使用的方法中，一个中心医学LLM将各种模态的数据分析外包给一组针对这些任务进行独立优化的软件子系统：工具。常见的工具使用示例是教会LLM使用计算器而不是自己进行算术运算。在医学领域，面对胸部X射线的医学LLM可以将图像转发给放射学AI系统并整合其响应。这可以通过子系统提供的应用程序编程接口(APIs)完成，或者更加奇特的是，不同专业领域的两个医学人工智能系统之间进行对话。 这种方法有一些重要的好处。它允许子系统之间的最大灵活性和独立性，使健康系统能够根据子系统的验证性能特征在技术提供商之间进行产品混搭。此外，子系统之间的人类可读通信渠道最大化了可审核性和调试性。然而，正确地在独立子系统之间进行沟通可能是棘手的，会限制信息传递，或者暴露出错误沟通和信息丢失的风险。 模型嫁接 更加集成的方法是将每个相关领域的专门神经网络取出，使其直接插入LLM中，将视觉模型嫁接到核心推理代理中。与工具使用不同，工具使用的具体工具由LLM决定，而在模型嫁接中，研究人员可以选择在开发过程中使用、改进或开发特定的模型。在Google…