四海吧 Posts

最近流行起来的Transformer设计已经成为自然语言处理（NLP）活动，特别是机器翻译（MT）的标准方法。这种架构展示了令人印象深刻的扩展性，这意味着增加更多的模型参数会在各种NLP任务上获得更好的性能。许多研究和调查已经验证了这一观察结果。虽然Transformer在可扩展性方面表现出色，但也有一个并行的运动，旨在使这些模型在实际世界中更加高效和可部署。这涉及到处理延迟、内存使用和磁盘空间等问题。 研究人员一直在积极研究解决这些问题的方法，包括组件裁剪、参数共享和降维。广泛使用的Transformer架构包括许多重要部分，其中最重要的两个部分是前馈网络（FFN）和注意力。 注意力 – 注意机制允许模型在分析每个单词时捕捉句子中的关系和依赖，而不考虑它们的位置。它作为一种机制，帮助模型确定输入文本的哪些部分与其当前正在分析的每个单词最相关。理解短语中的单词之间的上下文和连接取决于这一点。 前馈网络（FFN）：FFN负责对每个输入标记进行非线性转换。通过对每个单词的表示进行特定的数学运算，它为模型对每个单词的理解增加了复杂性和表达能力。 在最近的研究中，一组研究人员专注于研究Transformer架构中的FFN的作用。他们发现FFN在作为模型的一个大组件时存在很高的冗余，并消耗大量的参数。他们发现，即使显著减少了模型的参数数量，也不会对准确性造成重大影响。他们通过从解码器层中删除FFN，而是在编码器层之间使用一个共享的FFN来实现这一点。 解码器层：标准Transformer模型中的每个编码器和解码器都有自己的FFN。研究人员删除了解码器层中的FFN。 编码器层：他们使用一个单独的FFN，该FFN由所有编码器层共享，而不是为每个编码器层提供单独的FFN。 研究人员分享了采用这种方法带来的好处，如下所示。 参数减少：通过删除和共享FFN组件，他们大大减少了模型中的参数数量。 尽管删除了大量参数，但模型的准确性仅略有降低。这表明编码器的多个FFN和解码器的FFN存在一定程度的功能冗余。 缩小规模：他们扩大了共享FFN的隐藏维度，以恢复架构的先前尺寸，同时保持或甚至提高模型的性能。与之前的大规模Transformer模型相比，这在准确性和模型处理速度（延迟）方面取得了显著的改进。 总之，这项研究表明，在Transformer设计中，特别是在解码器层中，前馈网络可以简化并共享，而不会对模型性能造成重大影响。这不仅减轻了模型的计算负载，还提高了其在各种NLP应用中的效果和适用性。

远程医疗的兴起改变了医疗的提供方式，打开了专业网络，降低了价格，并允许进行远程医疗咨询。此外，智能医疗系统通过添加医疗信息提取、药物推荐、自动诊断和健康问题解答等功能，改进了在线医疗服务。虽然在构建智能医疗系统方面取得了一些进展，但早期研究集中在特定问题或疾病上，具有狭窄的应用范围，导致实验性进展与实际应用之间存在差距。为了弥合这一差距，需要提供更广泛的医疗场景的完整解决方案，并为消费者提供最高品质的端到端对话式医疗服务。 近期，大型语言模型展示了与人类进行有意义对话和遵循指令的惊人能力。这些进展为开发医疗咨询系统创造了新的机会。然而，涉及医疗咨询的情况通常更为复杂，超出了通用领域的语言模型的范围。图1展示了一个真实世界医疗咨询的示例。它展示了两个特点。首先，需要全面可信的医疗知识来理解对话并在每个阶段做出适当回应。通用领域的语言模型提供与特定情况无关的输出，存在主要的幻觉问题。 其次，通常需要进行多轮对话才能获得足够了解患者情况以提供医疗咨询的知识，并且每个对话轮次都有一个明确的目标。然而，通用领域的语言模型在用户健康状况的具体问题上往往具有有限的多轮查询能力，并且是单轮代理。基于这两点发现，复旦大学、西北工业大学和多伦多大学的研究人员认为，医疗语言模型应该对全面可信的医疗知识进行编码，同时符合真实世界医疗对话的分布特征。受到指令调整的成功启发，他们研究如何构建高质量的监督微调数据集，用于训练医疗语言模型，并包括医学知识和咨询行为模式。 在实际应用中，他们使用三种不同的方法创建样本： • 基于医疗知识图的样本开发。根据从真实世界咨询数据集中收集的患者查询分布，他们使用以科室为导向的方法从医疗知识网络中选择知识三元组。然后使用GPT-3.5为每个三元组创建问答对。结果得到了50k个样本。 • 重建真实对话。为了改善语言模型，从医疗论坛收集的咨询记录是合适的数据源。这些文档中使用的语言是非正式的，术语的呈现方式不一致，各种医疗从业者的表达风格各异。因此，他们使用GPT-3.5使用实际案例重新创建对话。结果得到了420k个样本。 • 样本收集后，进行人工选择。他们从涵盖各种咨询设置的真实医疗对话记录中手动选择了一小组条目，并重新编写了某些示例以符合人类意图。他们还确保每个对话的整体质量在人工引导重建后得到保证。结果得到了2k个样本。然后，使用新创建的SFT数据集在拥有13B个参数的通用领域中文语言模型的基础上，通过两阶段训练过程训练DISC-MedLLM。他们从两个角度评估模型的性能，以确定其在多轮对话中提供系统咨询和在单轮对话中提供准确回复的能力。 图1：患者和真实医生之间对话的示例。医生回应中提到的医学实体由蓝色高亮文本标示。每一轮，医生的行为显示特定的意图：（1）在第一轮，进行更多的研究以收集有助于确定潜在情景的数据；（2）在第二轮，进行初步诊断并提出明确建议；（3）在第三轮，根据医疗状况提供具体的治疗选择。 他们从三个公共医学数据集中收集了一系列多项选择题，并使用该题库对单轮对话进行了模型准确性评估。对于多轮对话评估，他们首先使用GPT-3.5创建了一小组优秀咨询案例，模拟患者与模型进行对话。然后使用GPT-4评估模型的主动性、准确性、有用性和语言质量。实验结果显示，尽管不及GPT-3.5，但DISCMedLLM在参数相同的情况下平均超过了医学大规模华佗GPT 10%。 此外，在模拟医学咨询环境中，DISC-MedLLM的整体表现优于基准模型，如GPT-3.5、华佗GPT和扁鹊。DISC-MedLLM在涉及医学部门和患者意图的案例中表现出色，并超过了其他中文医学LLM。

大型语言模型（LLMs）以很大程度上利用了自然语言处理的能力。从语言生成和推理到阅读理解，LLMs都能胜任。这些模型在帮助医生工作方面的潜力引起了多个领域，包括医疗保健的关注。最近的LLMs，包括Med-PaLM和GPT-4，在涉及医学问答的任务中表现出了他们的熟练程度，特别是涉及医学数据库和考试的任务。 一个常见的限制是难以确定LLMs在受控基准测试中出色的表现是否能够转化到实际的临床环境中。临床医生在医疗行业中进行各种与信息相关的工作，这些工作经常需要来自电子健康记录（EHRs）的复杂、非结构化的数据。医疗从业者所面对的复杂性和复杂性在当前可用的EHR数据问答数据集中没有很好地体现出来。当医生依靠LLMs来帮助他们时，他们缺乏评估这些模型能否提供准确和具有上下文意识的回复所需的细微差别。 为了克服这些限制，一组研究人员开发了MedAlign，这是一个基准数据集，包括15名从事7个不同医学专业的临床医生提交的共983个问题和指令。MedAlign专注于基于EHR的指令-回答配对，而不仅仅是问题-回答配对，这使其与其他数据集不同。该团队为其中303个指令提供了由临床医生撰写的参考回答，并将其与EHR数据相链接，以提供提示的上下文和基础。每个临床医生对这303个指令上六种不同LLMs生成的回答进行了评估和排名，以确认数据集的可靠性和质量。 临床医生还提供了他们自己的黄金标准解决方案。通过收集包括临床医生提供的指令、LLM生成回答的专家评估以及相关的EHR上下文的数据集，MedAlign开创了一项开拓性的工作。这个数据集与其他数据集的不同之处在于它为评估LLMs在临床情况下的工作效果提供了一个有用的工具。 第二个贡献展示了一种自动化的、检索式的方法，用于将相关的患者电子健康记录与临床指令匹配。为了实现这一点，该团队创建了一个程序，使向临床医生索取指令更加高效和可扩展。他们可以通过隔离这种指令征集方法从更大、更多样化的临床医生群体中寻求提交。 他们甚至评估了他们的自动化方法与相关EHR匹配的效果。研究结果显示，与指令与EHR的随机配对相比，这种自动匹配过程在74%的情况下成功提供了相关的配对。这一结果突显了自动化提高连接临床数据的效果和准确性的机会。 最后一个贡献考察了自动化自然语言生成（NLG）参数与临床医生对LLM生成回答的评级之间的关系。这项研究旨在确定是否可以使用可扩展的自动化指标来对LLM回答进行排序，以取代专业临床医生的评估。该团队旨在通过衡量人类专家排序与自动化标准之间的一致程度，减少医生在未来研究中手动识别和评估LLM回答的需求。通过使审查过程更加高效且不那么依赖人力资源，为医疗应用开发和改进LLMs的进程可能会加快。