Tag: Applications

随着数字文本信息在一般和医疗领域中的数量急剧增加，对有效和准确的文本摘要模型的需求也在增加。文本摘要涉及将一篇冗长的写作压缩成简明的概述，同时保留材料的意义和价值。这已经成为自然语言处理（NLP）研究的重点已经很长时间了。 引入神经网络和深度学习技术，特别是使用编码器-解码器结构的序列到序列模型进行摘要生成，已经传达出积极的结果。与基于规则和统计的方法相比，这些方法生成的摘要更加自然和上下文适用。由于需要保留这些结果的上下文和关联特征以及在治疗环境中精确度的要求，这一努力变得更加困难。 研究人员使用ChatGPT来总结放射学报告，并对其进行了改进。为了充分利用ChatGPT的上下文学习能力，并通过交互不断改进它，研究人员开发并实施了一种新颖的迭代优化方法，使用快速工程学。更准确地说，我们采用相似性搜索算法来构建一个动态提示，其中包含语义上和临床上可比较的现有报告。ChatGPT通过这些并行报告进行训练，以理解类似成像表现的文本描述和摘要。 主要贡献 相似性搜索使得能够使用稀疏数据对语言模型（LLM）进行上下文学习。通过识别语料库中最可比较的案例，开发了一个包含LLM最相关数据的动态提示。 我们为迭代优化技术创建了一个动态提示系统。迭代提示首先评估LLM生成的回复，然后在后续迭代中提供更多指导。 一种利用领域特定信息的新方法来调整LLM。建议的方法可以在需要快速和有效地从现有LLM开发领域特定模型时使用。 方法 变量提示 动态样本使用语义搜索来获取与输入放射学报告相似的报告语料库中的示例；最终查询由相同的预定义查询与测试报告的“发现”部分组成，任务描述描述了角色。 迭代优化 通过迭代优化组件可以完成一些很酷的事情。这种方法的目标是通过使用迭代提示使ChatGPT逐步改进其答案。对于放射学报告摘要等重要应用来说，这也需要一种响应审查过程来检查回复的质量。 通过基于少量训练样本和迭代方法改进输入提示来研究使用大型语言模型（LLMs）进行放射学报告摘要的可行性。通过挖掘语料库中的合适实例，以在上下文中学习LLMs，然后用于提供交互提示。为了进一步提高输出，使用了一种迭代优化技术。该过程包括根据自动评估反馈教授LLM什么是好的和负面的回复。与使用大量医学文本数据进行预训练的其他方法相比，我们的策略已经证明更优越。在现代通用人工智能中，这项工作也为构建更多领域特定语言模型奠定了基础。 在研究ImpressionGPT的迭代框架时，我们意识到评估模型输出回复的质量是一项重要但困难的任务。研究人员假设，用于训练LLMs的领域特定和通用领域文本之间的巨大差异导致了观察到的评分差异。因此，通过使用细粒度的评估指标来检查获得的结果的具体细节。 为了更好地包含来自公共和本地数据源的领域特定数据，我们将在未来继续优化快速设计，同时解决数据隐私和安全问题，尤其是在处理许多组织时。我们还考虑使用知识图谱来使提示设计适应当前的领域知识。最后，我们计划将医学专家（如放射科医生）纳入到优化提示和对系统提供的结果提供客观反馈的迭代过程中。通过结合人类专家在开发LLMs过程中的判断和观点，我们可以得到更精确的结果。

语言模型（LMs）的出色性能表明，大规模的下一个单词预测可以将文本语料库中的知识有效地蒸馏成交互式代理。LMs在各种自然语言处理基准测试中取得了令人印象深刻的成果，超过了最先进的方法，甚至在需要复杂推理的任务中超过了人类。然而，至关重要的是确定它们的成功是源于任务通用推理能力还是在预训练期间识别和回忆特定任务。 以前的研究主要集中在实例级别的泛化，其中数据污染问题可能会复杂化。在这项研究中，研究人员通过改变执行良好任务的条件或规则来研究LMs对新任务变体的泛化能力。这些任务的一般推理过程保持不变，但是具体的输入-输出映射发生了变化。这些称为反事实任务的新任务偏离了默认条件，并衡量了模型的任务级泛化能力。 研究人员提出了一个由11个反事实评估任务组成的套件，涵盖了多个类别和领域。这些任务包括演绎推理、代码生成、绘图和空间推理。虽然原始任务和其反事实变体之间的推理过程保持一致，但是输入-输出映射不同。这个评估旨在评估LMs在适应新任务变体方面的灵活性。 对GPT-4、GPT-3.5、Claude和PaLM-2在任务的默认和反事实条件下的性能进行评估。结果表明，虽然LMs在反事实性能上表现出高于随机的表现，但与默认设置相比，它们的性能持续下降；这表明模型在这些任务上的成功部分归因于默认条件特定的行为，而不是抽象的、可推广的推理能力。 研究结果还揭示了默认任务和反事实任务之间的令人兴奋的关系。观察到默认和反事实性能之间的相关性，零-shot思维链提示的有效性以及任务和实例级频率效应之间的互动。总体而言，任务默认实例化的轻微变化对LMs构成了挑战，这表明现有模型的成功不应仅仅归因于它们对目标任务的通用能力。

大型语言模型（LLM）的改进在各个领域创造了机遇，并激发了一波新的交互式人工智能应用的浪潮。其中最值得注意的是ChatGPT，它使人们能够与AI代理进行非正式的交流，解决从软件工程到语言翻译的问题。由于其出色的能力，ChatGPT是历史上增长最快的项目之一。许多公司都追随这一趋势发布了类似LLM和ChatGPT的产品，包括微软的新Bing、谷歌的Bard、Meta的LLaMa、斯坦福大学的Alpaca、Databricks的Dolly和加州大学伯克利分校的Vicuna。 LLM推理与其他深度神经网络（DNN）模型推理（例如ResNet）不同，因为它具有特殊的特点。建立在LLM上的交互式人工智能应用必须提供推理功能。这些应用的交互设计要求LLM推理具有快速的作业完成时间（JCT），以提供引人入胜的用户体验。例如，当用户将数据提交到ChatGPT时，他们期望立即得到回应。然而，由于LLM的数量和复杂性，推理服务基础设施面临巨大压力。企业建立昂贵的集群，并配备了GPU和TPU等加速器来处理LLM推理操作。 DNN推理任务通常是确定性的，高度可预测的，即模型和硬件在很大程度上决定了推理任务的执行时间。例如，使用同一ResNet模型在某个GPU上处理不同的输入照片，其执行时间会有所变化。相反，LLM推理具有独特的自回归模式。LLM推理工作经过多轮迭代。每次迭代产生一个输出标记，然后将其添加到输入中，以在下一轮迭代中生成后续标记。输出长度在开始时是未知的，它既影响执行时间，也影响输入长度。大多数确定性模型推理任务（例如ResNet执行的任务）都可以通过现有的推理服务系统（如Clockwork和Shepherd）来处理。 这些系统基于精确的执行时间分析进行调度决策，但对于具有可变执行时间的LLM推理来说是无效的。LLM推理的最先进方法是Orca。它建议在每次迭代后将新任务添加到当前处理批处理中，或者删除已完成的任务。然而，它使用先来先服务（FCFS）的方式处理推理任务。调度的任务将持续运行，直到完成。由于受限的GPU内存容量和推理任务的低JCT要求，处理批处理不能随着任意数量的传入函数而增加。完成运行的处理中的先行阻塞是众所周知的问题。 由于LLM庞大且执行时间较长，这个问题对LLM推理操作尤为严重。大型LLM推理任务，特别是输出长度较长的任务，将花费很长时间才能完成，并阻塞后续的短任务。北京大学的研究人员开发了一种名为FastServe的分布式推理服务解决方案，用于LLM。为了实现每个输出标记级别的抢占，FastServe使用了迭代级别的调度和LLM推理的自回归模式。FastServe可以选择在生成输出标记后继续进行计划任务，或者通过排队中的其他任务来抢占它。这使得FastServe可以通过抢占式调度来减少JCT和先行阻塞。 独特的跳过连接多级反馈队列（MLFQ）调度器是FastServe的基础。MLFQ是一种在无信息环境下最小化平均JCT的著名方法。每个任务在最高优先级队列中开始，如果在一定时间内未完成，则降级到下一个优先级队列。LLM推理是半信息不可知的，这意味着虽然不知道输出长度，但知道输入长度。这是LLM推理与传统情况之间的主要区别。输入长度决定了创建初始输出标记的执行时间，由于LLM推理的自回归模式，这可能比后续标记的执行时间要长得多。 当输入较长且输出较短时，初始输出标记的执行时间占据了大部分工作量。他们将这一特性用于将跳过连接添加到传统的MLFQ中。每个到达的任务通过将第一个输出标记的执行时间与队列的降级阈值进行比较，而不总是进入最高优先级队列中的适当队列。绕过高优先级队列以最小化降级。使用MLFQ进行抢占式调度会增加额外的内存开销，以保持已开始但未完成的作业处于中间状态。LLM为每个Transformer层维护一个键值缓存，用于存储中间状态。只要批处理大小未超过，FCFS缓存需要存储计划任务的中间状态。然而，可能已经开始了MLFQ中的其他任务，但它们被降级到优先级较低的队列中。MLFQ中的所有已开始但未完成的作业都必须由缓存维护中间状态。考虑到LLM的大小和GPU的受限内存空间，缓存可能会溢出。当缓存已满时，调度器可能会简单地延迟启动新的作业，但这又会导致先行阻塞。 相反，他们开发了一种高效的GPU内存管理系统，当低优先级队列中的进程被调度并且缓存快满时，主动将进程状态上传，并在缓存快满时卸载状态。为了提高效率，他们采用了流水线和异步内存操作。FastServe使用张量和流水线并行等并行化技术，为无法放入一个GPU中的大型模型提供分布式推理服务。为了减少流水线冒泡，调度程序同时执行多个批次的作业。键值缓存由键值缓存管理器组织，并且管理GPU和主机内存之间的内存交换。他们基于NVIDIA FasterTransformer实现了FastServe系统原型。结果表明，与最先进的解决方案Orca相比，FastServe平均和尾部JCT分别提高了5.1和6.4。

大型语言模型（LLMs）在自然语言处理（NLP）方面最近取得了重要进展。现有研究表明，LLMs在无需特定任务微调的情况下，通过专门创建的提示语可以具备强大的零射击和少射击能力来完成各种任务。尽管它们非常有效，但根据目前的研究，LLMs可能会产生与事实知识不符的虚假信息，并且无法掌握领域特定或实时专业知识。通过向LLMs添加外部知识源，可以直接解决这些问题以修复错误的生成。 结构化数据，如数据库和知识图谱，已经被广泛用于在各种资源之间传递LLMs所需的知识。然而，由于结构化数据使用LLMs在预训练期间未接触到的独特数据格式或架构，它们可能需要帮助才能理解这些数据。与纯文本不同，结构化数据以一致的方式排列，并遵循一定的数据模型。数据表通过行按列索引记录进行排列，而知识图谱（KGs）通常以描述头实体和尾实体之间关系的事实三元组进行组织。 尽管结构化数据的体积通常很大，但无法将所有数据记录都放入输入提示中（例如，ChatGPT的最大上下文长度为4096）。将结构化数据线性化为LLMs可以轻松理解的语句是解决这个问题的简单方法。工具操作技术激励它们增强LLMs在上述困难中的能力。他们的策略背后的基本思想是使用专门的接口来修改结构化数据记录（例如，提取表格的列）。借助这些接口，他们可以更准确地定位完成特定活动所需的证据，并成功限制数据记录的搜索范围。 这项研究来自中国人民大学、大数据管理与分析方法北京市重点实验室和中国电子科技大学的研究人员，他们的研究重点是为特定任务设计适当的接口，并将它们用于LLMs的推理，这是应用接口增强方法需要解决的两个主要问题。以这种方式，LLMs可以根据从接口收集的证据做出决策。为此，他们在这项研究中提供了一种名为StructGPT的迭代阅读-推理（IRR）方法，用于根据结构化数据解决任务。他们的方法考虑了完成各种活动的两个关键任务：收集相关数据（阅读）和假设正确的响应或制定下一步行动的策略（推理）。 据他们所知，这是第一项研究，探讨如何帮助LLMs在各种形式的结构化数据（如表格、知识图谱和数据库）上进行推理，使用单一范式。从根本上讲，他们将LLMs的阅读和推理过程分开：他们使用结构化数据接口来实现精确、有效的数据访问和过滤，并依靠其推理能力来确定下一步行动或查询的答案。通过外部接口，他们特别建议一种调用线性化生成过程，以帮助LLMs理解和在结构化数据上做出决策。通过使用提供的接口重复这个过程，他们可以逐渐接近对查询的期望响应。 他们对各种任务（如基于知识图谱的问题回答、基于表格的问题回答和基于数据库的文本到SQL）进行了全面的实验，以评估他们的技术的有效性。在八个数据集上的实验结果表明，他们提出的方法可以显著提高ChatGPT在结构化数据上的推理性能，甚至达到与完全数据监督调优方法相竞争的水平。 • 知识图谱问答（KGQA）。他们的方法使KGQA挑战中WebQSP的Hits@1增加了11.4%。借助他们的方法，ChatGPT在多跳KGQA数据集（如MetaQA-2hop和MetaQA-3hop）上的性能可以提高62.9%和37.0%。 • 问题回答表格（QA Table）。在TableQA挑战中，与直接使用ChatGPT相比，他们的方法可以将WTQ和WikiSQL中的指示准确性提高约3%到5%。在TabFact中，他们的方法可以将表格事实验证的准确性提高4.2%。 • 文本到SQL。在Text-to-SQL挑战中，他们的方法相对于直接使用ChatGPT，将执行准确率在三个数据集上提高了约4%。 作者已经发布了Spider和TabFact的代码，这可以帮助理解StructGPT的框架，整个代码库尚未发布。