Celi表示，聊天机器人在医疗执照考试中的成功表明，这种考试以及医学教育存在缺陷
ChatGPT于2022年11月推出，是一个聊天机器人，不仅可以进行类人对话，还能在广泛的知识领域提供准确的答案。这个聊天机器人由OpenAI公司创建，基于“大型语言模型”家族，这些算法可以识别、预测和生成文本，基于它们在包含数亿个单词的数据集中识别的模式。
在本周发表于PLOS Digital Health的一项研究中，研究人员报告说，ChatGPT在美国医疗执照考试（USMLE）的及格门槛上表现出色，这是医生在美国从事医学工作之前必须通过的全面的三部分考试。在该论文的附带编辑中，麻省理工学院医学工程与科学研究所的主要研究科学家、Beth Israel Deaconess医疗中心的执业医师、哈佛医学院的副教授Leo Anthony Celi及其合著者认为，ChatGPT在这项考试中的成功应该是医疗界的警钟。
Q：您认为ChatGPT在USMLE考试中的成功揭示了医学教育和学生评估的本质是什么？
A：将医学知识框定为可以概括为多项选择题的东西，会产生错误确定性的认知框架。医学知识常常被教授为健康和疾病的固定模型表示。治疗效果被呈现为随着时间不断变化的固定模式，而不考虑实践模式的不断变化。机械模型从教师传给学生，很少强调这些模型是如何得出的，它们周围存在的不确定性以及必须如何重新校准以反映值得纳入实践的进步。ChatGPT通过了一个奖励记忆系统组成部分而不是分析它的工作原理、如何失败、如何创建、如何维护的考试。它的成功展示了我们培训和评估医学生的某些缺点。批判性思维需要欣赏医学中基本的真实性不断变化，更重要的是，理解它们如何以及为什么变化。
Q：您认为医疗界应该采取哪些步骤来修改学生的教学和评估方式？
A：学习是关于利用当前的知识体系，理解它的缺陷，并寻求填补这些缺陷。这需要对不确定性感到舒适并能够探索不确定性。我们作为教师失败的原因之一就是没有教给学生如何理解当前知识体系中的缺陷。当我们强调确定性而非好奇心，强调傲慢而非谦虚时，我们会让他们失望。医学教育还需要意识到医学知识创建和验证方式中的偏见。最好以优化社区内的认知多样性来解决这些偏见。比以往任何时候都更需要激发跨学科协作学习和问题解决。医学生需要数据科学技能，这将允许每个临床医生为医学知识做出贡献、不断评估和重新校准。
Q：您认为ChatGPT在这次考试中的成功有什么好处？ ChatGPT和其他形式的人工智能有哪些有益的贡献可以为医学实践做出？
A：毫无疑问，像ChatGPT这样的大型语言模型（LLM）是筛选超出专家甚至专家组能力范围的内容并提取知识的非常强大的工具。但是，在利用LLM和其他人工智能技术之前，我们将需要解决数据偏见问题。LLM所训练的医学和其他领域的知识体系主导着来自高收入国家的资助机构的内容和研究，而不代表大多数世界的情况。我们还了解到，即使是健康和疾病的机械模型也可能存在偏见。这些输入被输入到编码器和变压器中，这些编码器和变压器对这些偏见是无知的。医学中的真实性持续变化，目前没有办法确定真实性何时偏移。LLM不评估它们所接受培训的内容的质量和偏见。它们也不提供其输出周围的不确定性水平。但完美不应成为好的敌人。我们有巨大的机会改善医疗保健提供者当前做出的临床决策方式，我们知道这些决策带有无意识的偏见。我相信，一旦我们优化了数据输入，人工智能将实现其承诺。