微软研究人员解决了提高GPT-4在回答医疗问题方面的能力的挑战，无需特定领域的培训。他们引入了Medprompt，采用不同的提示策略来提高GPT-4的性能。目标是在MultiMedQA套件的所有九个基准上实现最先进的结果。
这项研究继承了关于GPT-4的医疗能力的先前研究，特别是BioGPT和Med-PaLM，通过系统地探索提示工程来提高性能。 Medprompt的多样性在各个领域得到证明，包括电子工程、机器学习、哲学、会计、法律、护理和临床心理学。
该研究探索了AI创建通用问题解决的计算智能原则的目标。它强调了GPT-3和GPT-4等基础模型的成功，在没有专门的培训的情况下，展示了它们在各种任务中的出色能力。这些模型采用了从大规模网络数据中广泛学习的文本到文本的范例。性能指标，如下一个词的预测准确性，随着训练数据、模型参数和计算资源的规模增加而提高。基础模型展示了可扩展的问题解决能力，表明它们在各个领域具有潜力。
该研究系统地探索了提示工程来提高GPT-4在医学挑战中的性能。仔细的实验设计缓解了过度拟合问题，采用了类似传统机器学习的测试方法学。 Medprompt通过使用有关眼睛和无眼睛的划分对MultiMedQA数据集进行评估，表明它对未见问题的鲁棒泛化性。该研究还检查了在增加计算负载下的性能，并将GPT-4的CoT原理与Med-PaLM 2进行了比较，揭示了生成输出中更长更详细的推理逻辑。
Medprompt改善了GPT-4在医疗问题回答数据集上的性能，实现了MultiMedQA中的现有结果，并超过了像Med-PaLM 2这样的专家模型，同时减少了调用次数。通过Medprompt，GPT-4在MedQA数据集上的错误率减少了27％，首次达到90％分数。 Medprompt的技术，包括动态少样本选择、自动生成的思维链和选择混洗集成，可以应用在医学以外的领域，以提高GPT-4的性能。严格的实验设计确保减少过度拟合的问题。
总之，Medprompt在医学问题回答数据集上表现出色，超过MultiMedQA并在各个领域展示了适应性。该研究强调了对于避免过度拟合的眼睛外评估的重要性，并建议进一步探索提示工程和微调，以利用基础模型在关键领域如医疗保健中的应用。
在未来的工作中，重要的是改进提示和基础模型的能力，将少量样本示例整合到提示中。提示工程和微调在高风险领域，如医疗保健中，存在协同效应的潜力，应该探索快速工程和微调作为关键研究领域。博弈论Shapley值可用于给予消融研究中的信用分配，并需要进一步研究来计算Shapley值并分析其在此类研究中的应用。