Tag: Editors Pick

大型语言模型（LLMs）在文本生成任务以及其他自然语言处理任务中取得了重大进展。生成能力的一个基本组成部分是生成结构化数据的能力，在先前的研究中引起了广泛关注。然而，LLMs在生成复杂的结构化输出方面仍然表现不佳，这是各种应用的关键技能，从自动报告撰写到编码帮助。此外，对LLMs生成结构化输出的能力进行的研究相对较少；大多数对LLMs的评估都集中在自发文本或代码开发上。这引发了一个问题，即LLMs能否很好地生成复杂的结构化数据。 耶鲁大学、浙江大学、纽约大学和苏黎世联邦理工学院的研究人员旨在对这些开放问题进行彻底分析并加以解决。首先，需要对LLMs生成复杂结构化数据的能力进行更全面的研究。以往评估LLMs在结构化数据上的尝试主要集中在简单的信息提取（IE）任务上，例如提取关系、识别事件和识别命名实体。在这种情况下，IE任务的目标是以井然有序的方式收集提取的数据。相比于以LLM为中心的工作，早期的工作更加任务为中心。使用像BART和T5这样的预训练模型，这些模型可以从文本中生成结构化数据，主要关注的是文本到数据的问题。其次，需要全面评估LLMs的性能或指标。 现有的基准经常使用简单的客观度量标准（如词重叠）来衡量机器生成的内容分类信息的质量。但是，可能需要更多的内容来确定LLMs是否能够提供结构化输出，因为适当的评估标准还应考虑所生成信息的格式。第三，当前的LLMs是否能更准确地遵循人类自然语言输入并提供具有准确格式和无错误内容的输出？本研究试图填补文献中的这些空白，并改进LLMs生成结构化输出的训练数据集和评估标准。 以下是他们的贡献列表：（1）他们创建了一个名为STRUCBENCH的基准，专注于生成原始文本、HTML和LaTeX形式的结构化文本。他们还仔细评估了知名LLMs的能力，发现了内容正确性、格式化、数值推理和管理冗长表格方面的重大问题。（2）他们对知名LLMs在结构化文本生成基准上进行了实证评估，包括重要数据集，并扩展到不同领域，使人们更深入地了解常见错误类型和缺陷的规模。他们的研究结果表明，GPT-3.5和GPT-4在生成准确的输出方面需要帮助，问题主要出在错误的内容、格式不佳、数值推理能力不足以及无法处理冗长表格等方面。（3）他们使用结构感知指令调整来解决这些问题，通过使用ChatGPT创建格式指令，训练LLaMA模型遵循这些格式。对可见和隐藏数据的积极结果表明，这可能显著提高LLMs提供结构化输出的能力。

通过显著提高广泛任务的最新性能和揭示新的新兴技能，大型语言模型（LLM）对NLP研究和应用产生了深远影响。为了将输入文本编码为表示向量，已经进行了仅编码器模型的研究；为了创建文本，已经研究了仅解码器模型；为了完成序列到序列的生成，已经研究了编码器-解码器模型。模型大小和训练数据集的指数级增长，这两者都是最大性能的扩展率所需的，是LLM卓越能力背后的主要推动力。例如，尽管BERT模型只包含几亿个参数，但更现代的基于GPT的模型现在包含数千亿个参数。 庞大的模型大小和庞大的训练数据集是提升大型语言模型（LLM）具有惊人学习能力的主要要素。随着NLP的发展，LLM已逐渐向公众开放，以鼓励进一步的研究和实际应用。然而，这些LLM的训练数据集通常只提供部分，特别是对于最新的最先进模型。需要进行大量数据清理和去重，以创建高质量的LLM训练数据。因此，对训练数据更加开放的需求，阻碍了复制发现和推进LLM中的幻觉和偏见研究领域的努力。在多语言学习场景中，这些困难在通常不充分收集和清理多语言文本集合的情况下更加复杂。因此，目前没有一个可以用于跨语言训练LLM的良好开源数据集。CulturaX是由俄勒冈大学和Adobe Research的学术界合作开发的，包括167种语言的63万亿个标记的大型多语言数据集，旨在解决这个问题。为了确保模型训练的最高质量，数据集经过严格的处理流程，包括多个清理和去重的步骤。这些过程包括识别数据集中的语言、使用URL过滤数据集、使用度量标准清理数据集、优化文档和去重数据。 CulturaX经过全面的文档级清理和去重，以确保跨语言训练LLM的最高质量。数据清理过程使用完整的流水线来消除不准确的信息。这需要消除不准确的语言识别、有毒数据和非语言材料等干扰因素。 主要特点 CulturaX是迄今为止最大的经过全面清理和去重的开源多语言数据集，可用于LLM和NLP应用。 CulturaX提供了一个多语言、开源和庞大的数据集，具有立即可用和高质量的数据，可用于训练LLM，解决当前数据集的许多问题。 虽然存在包含各种语言文本数据的多语言开源数据集，如mC4，但它们的质量和规模不符合高效训练LLM的要求，特别是生成模型如GPT。例如，如介绍中所提到的，mC4和OSCAR都没有提供文档级模糊去重。mC4的语言识别使用cld3的结果较差，这是另一个缺点。虽然CC100确实包含2018年以后的数据，但BigScience ROOTS只为46种语言提供了部分数据的样本。 HuggingFace的CulturaX的完整公开发布将有助于进一步研究多语言LLM及其应用。在这里查看https://huggingface.co/datasets/uonlp/CulturaX  您应该了解一下CulturaX，这是一个包含167种语言的新的多语言数据集。经过全面的工作流程清理和去重后，数据集中含有63万亿个标记。作为一个庞大而高质量的数据集，CulturaX可以轻松用于训练各种语言的有效LLM。这些信息对公众免费提供，并且研究人员希望它可以激发进一步的语言习得研究和实际应用。

BlindChat是由MithrilSecurity推出的开源和注重隐私的ChatGPT替代方案。BlindChat是一个开源的人工智能项目，旨在在Web浏览器中完全运行，不需要任何第三方访问。当前普遍的每日人工智能解决方案通常包括与AI服务提供商共享用户数据以换取AI模型使用。如果用户允许此类情况发生，他们的数据可能会被窃取。由于数据是提高LLM效果的宝贵资源，因此一些方法会隐含地调整用户的数据以更好地训练模型。用户以这种方式运行着有私人信息的LLMs的风险。 通过执行本地推理或使用称为安全隔离环境的安全、隔离环境，BlindChat确保用户的数据始终保持私密，并且用户完全控制数据。 BlindChat主要面向两个受众： 消费者：提供更安全的选择，优先考虑用户隐私。如今，大多数消费者将数据交给AI服务，但隐私设置通常需要明确或不存在。 BlindChat团队为了开发人员的好处，已经做了大量工作，确保平台在配置和部署方面的简单性，以便他们能够更轻松地提供以隐私为设计的对话式人工智能。 MithrilSecurity对程序进行了更改，以使浏览器执行通常由服务器执行的功能。因此，AI服务提供商不包含在信任模型中，因此隐私得到保护。 通过将功能从服务器移至用户端的浏览器，实现了透明且安全的人工智能，保护了终端用户的个人信息，并赋予他们对数据的控制权。例如，变形器允许在本地执行推理。JavaScript还可以将聊天保存在用户的浏览器历史记录中，提供了额外的便利。结果是，AI服务的管理员无法看到用户的任何信息，因此服务被称为“BlindChat”。 在激活遥远的隔离模式时，数据仅传输到服务器。此设置将服务器部署在被称为隔离区的经过验证和安全的容器中，提供了完整的周界防御，并阻止外界访问。即使是隔离区的AI提供商管理员也无法访问用户信息。 MithrilSecurity为用户提供了两种不同的隐私选项： 在设备上设置中，模型会在用户的浏览器上本地下载，并且推理是在本地处理的。 由于可用带宽和处理能力的限制，此模式最适用于较简单的模型。 使用零信任AI API时，信息会传输到一个被称为隔离区的安全位置，模型在其中存储，以便可以进行远程推理。通过强大的隔离和验证，这些设置提供了全面的安全性。任何AI服务提供商都无法以未加密的方式访问其用户的数据。 该项目由三个主要部分组成： 用户界面：用户与Chat进行交互时看到的界面。其中有一个聊天窗口，并且最终将提供用于加载文档和语音控制等功能的小部件和插件。 开发人员完全控制用于处理用户请求的私有LLM。当前的解决方案是本地模型或远程隔离区，以提供透明和机密的推理。 开发人员可配置用于保存聊天记录等数据的存储类型，将来还可配置RAG嵌入。 MithrilSecurity目前仅允许进行LaMini-Flan-T5推理。一旦370M发布，他们打算集成Microsoft phi-1.5以提高性能。客户端上也正在开发LlamaIndex-TS集成，以便在浏览器中本地查询敏感文档时可以使用RAG。

现代大型语言模型（LLM）在很大程度上依赖于数学推理，这是本文的主要焦点。尽管在这个领域取得了一些进展，但封闭源模型（如GPT-4、PaLM-2和Claude 2）在GSM8K和MATH等流行的数学推理基准中占据主导地位，而开源模型（如Llama、Falcon和OPT）则远远落后。 解决这个差距的两种主要方法是： 持续的预训练，例如Galactica和MINERVA，现在它正在使用链接到数学的超过1000亿个网页数据上训练LLM。虽然计算代价高昂，但这种方法可以提高模型在科学推理方面的能力。 使用每个数据集独特的训练数据，使用拒绝采样微调（RFT）和WizardMath等微调方法来完善LLM。虽然这些方法在其领域内是有效的，但在需要推理的其他数学领域中无法转移。 滑铁卢大学、俄亥俄州立大学、香港科技大学、爱丁堡大学和IN.AI最近的研究探索了一种轻量级但具有普适性的数学指令调整技术，以提高LLM在数学推理能力上的表现（即不仅仅是微调任务）。 目前的方法在很大程度上依赖于思维链（CoT）方法，描述了它们如何以自然语言步骤解决数学问题。但是，当涉及到计算精度和复杂的数学或算法推理方法时，这种方法表现不佳。基于代码的技术，如PoT和PAL，使用第三方资源来简化数学求解过程。 该方法建议将计算密集型任务（例如使用sympy解二次方程或使用numpy计算矩阵特征值）委托给一个独立的Python解释器。另一方面，PoT在处理更抽象的推理场景（如常识推理、形式逻辑和抽象代数）时具有一些局限性，特别是在缺乏现有API的情况下。 为了充分利用CoT和PoT的优势，该团队提出了一个名为MathInstruct的数学混合指令调整数据集。它的主要特点包括： 全面覆盖各种数学领域和复杂程度 混合CoT和PoT的解释。 六个全新选择的和七个现有的数据集为MathInstruct的数学解释提供了基础。从建模的角度来看，研究人员训练和评估了约50个独特模型，基线范围从7B到70B，以了解各种输入输出格式和数据源的影响。 结果表明，这些模型在数学通用性方面表现出色。 研究人员在各种数据集上对MAmmoTH进行了广泛测试，从领域内（IND）到领域外（OOD），例如GSM8K、MATH、AQuA-RAT和NumGLUE。这些模型显著提高了开源LLM在数学推理上的效率，并且在OOD数据集上比最先进的方法具有更好的泛化能力。在流行的竞赛级别MATH数据集上，7B模型的结果超过了WizardMath（开源MATH SoTA）的3.5倍（35.2%对10.7%），而34B MAmmoTH-Coder（在Code Llama上进行了微调）的结果超过了GPT-4（使用CoT）。这些模型中的MAmmoTH和MAmmoTH-Coder都显著提高了以前可用的开源模型的准确性。

基于Transformer的大型语言模型（LLMs），如GPT、PaLM和LLaMA，已广泛用于各种实际应用中。这些模型已应用于各种任务，包括文本生成、翻译和自然语言解释。然而，这些模型的高推理成本，特别是在对低延迟要求很高的情况下，是一个主要关注点。这些模型使用的自回归解码方法是高推理成本的主要原因。由于自回归解码过程中每个输出令牌是顺序生成的，因此存在大量的Transformer调用。每个Transformer调用的内存带宽受限，导致计算效率低下和执行时间长。 为了加速大型语言模型（LLMs）的推理过程，最近的一项研究引入了一种称为自我推测解码的独特方法，该方法不需要辅助模型。这种方法解决了快速生成推理结果并保持输出质量的问题。它的特点是一个由起草和验证组成的两阶段过程。 起草阶段 – 起草阶段的目标是更快地生成起草令牌，即使它们的质量略低于使用传统自回归方法生成的令牌。为了实现这一目标，该方法在起草过程中绕过了一些中间层。LLMs中的这些中间层通常会改进输出，但它们在推理过程中也会占用大量时间和资源。 验证阶段 – 该技术在起草阶段生成起草输出令牌，然后使用原始未经修改的LLM在单个前向传递中验证它们。使用传统的自回归解码技术，LLM会产生相同的最终结果，这由验证步骤确保。因此，即使起草阶段更快地生成了令牌，最终产品的质量也得到了保证。 自我推测解码不需要进一步的神经网络训练，这是它的主要优点之一。为了实现更快的推理，现有方法常常需要训练辅助模型或对LLM的架构进行重大改变，这可能具有挑战性且资源密集。而自我推测解码是一种“即插即用”的方法，可以在现有LLMs上添加而无需额外的训练或模型修改。 研究为自我推测解码的有效性提供了实证支持。基于LLaMA-2及其改进模型的基准结果显示，自我推测解码方法比传统的自回归方法可以更快地解码数据高达1.73倍。这具有重要的优势，使推理过程大约快两倍，同时保持输出质量，在延迟是一个问题的情况下非常重要。 总之，自我推测解码是一种革命性的方法，改善了大型语言模型推理信息的方式。它通过建立起草和验证的两步过程，选择在起草阶段跳过哪些层以更快地生成令牌，并在验证阶段验证输出质量来实现这一目标。该方法加速了LLM的推理过程，而不会增加任何额外的内存负担或神经网络的训练要求。

在自然语言处理（NLP）和人工智能（AI）不断发展的领域中，大型语言模型（LLMs）已经成为强大的工具，在各种NLP任务中展示出了卓越的能力。然而，当前模型中存在一个重要的差距，即缺乏专门为IT运营设计的大型语言模型（LLMs）。由于IT运营领域具有独特的术语、程序和语境复杂性，这个差距带来了挑战。因此，迫切需要创建专门的LLMs，以有效地应对IT运营中的复杂性。 在IT领域内，NLP和LLM技术的重要性日益增长。与信息安全、系统架构和其他IT运营相关的任务需要领域特定的知识和术语。传统的NLP模型往往难以解读IT运营的复杂细微差别，从而需要专门的语言模型。 为了解决这一挑战，一个研究团队推出了一个名为“Owl”的大型语言模型，专门针对IT运营进行了定制。这个专门的LLM是在一个被称为“Owl-Instruct”的精心策划的数据集上进行训练的，该数据集涵盖了广泛的IT相关领域，包括信息安全、系统架构等等。目标是为Owl提供在IT相关任务中取得优异表现所需的领域特定知识。 研究人员采用自我教导策略，在Owl-Instruct数据集上训练了Owl。这种方法可以使模型生成多样的指令，涵盖单轮和多轮场景。为了评估模型的性能，团队引入了“Owl-Bench”基准数据集，其中包括九个不同的IT运营领域。 他们提出了一种“适配器混合”策略，允许针对不同输入的任务特定和领域特定表示，通过促进有监督微调来进一步提高模型的性能。TopK(·)是用来计算所有LoRA适配器的选择概率并选择服从概率分布的前k个LoRA专家的选择函数。适配器混合策略是通过激活前k个专家来学习不同输入句子的语言敏感表示。 尽管Owl缺乏训练数据，但在RandIndex指标和最佳F1得分（0.894）上取得了可比较的性能（0.886）。在RandIndex比较中，与在域内日志上进行了广泛训练的LogStamp相比，Owl仅表现出微小的性能下降。在细粒度F1比较领域中，Owl明显优于其他基线，能够准确识别以前未见的日志中的变量。值得一提的是，logPrompt的基础模型是ChatGPT。与在相同基本设置下的ChatGPT相比，Owl在这个任务中表现出更优异的性能，突显了我们的大型模型在运营和维护方面的强大泛化能力。 总之，Owl代表了IT运营领域的一项突破性进展。它是一个精心训练并在IT相关基准上进行严格评估的专门的大型语言模型。这个专门的LLM革新了IT运营的管理和理解方式。研究人员的工作不仅解决了领域特定LLMs的需求，还为高效的IT数据管理和分析开辟了新的途径，最终推动了IT运营管理领域的发展。

大型语言模型应用程序受到了广泛关注。凭借其惊人的能力，它们变得越来越复杂。通过结合工具使用跟踪和检索增强等功能，这些模型在人工智能社区中引起了很多关注。现有的构建此类应用程序的框架采用了一种自以为是的方法，指导开发人员如何格式化其提示，并对自定义和可重复性施加了一定的限制。 为了解决这些问题，宾夕法尼亚大学的研究团队最近推出了Kani，一种轻量级、可扩展且与模型无关的开源框架，专门用于构建语言模型应用程序。通过支持聊天交互的核心元素，Kani旨在使开发人员能够添加各种复杂的功能。模型交互、聊天管理和强大的函数调用是其中一些关键要素。 开发人员可以利用Kani的构建模块创建语言模型应用程序，而不受预定义结构或限制的限制，因为Kani以其适应性和可定制性而脱颖而出。所有Kani的基本功能都被设计为易于修改，并且研究团队还提供了广泛的文档。这使得开发人员可以根据自己的独特需求和要求修改框架的功能。 Kani是一种对学者、业余爱好者和商业人士都有用的工具。为了提高他们工作的可重复性，Kani帮助研究人员创建语言模型应用程序，同时提供了精细的控制。即使使用GPT-4或其他复杂模型，用户也可以使用Kani仅几行代码快速开始设计应用程序。Kani的灵活性和耐用性对于行业工作者尤其有利，特别是在聊天管理和函数管理等领域。 Kani需要Python 3.10+，简化了语言模型的安装和查询。通过pip安装，它提供了核心依赖项和可选的附加功能，如OpenAI引擎。Kani框架中的基本处理单元称为“Kani”。在使用Kani构建应用程序时，用户将使用和操作各种Kani对象，包括三个基本组件：推理引擎、聊天历史和函数上下文。 通过推理引擎，Kani对象与语言模型进行通信。在不更改应用程序代码的情况下，这种交互使开发人员能够轻松地在不同模型之间切换。Kani跟踪令牌总数和主题切换。它确保对话的上下文保持在模型的范围内，避免过度。最后，语言模型可以通过Kani访问可调用的函数。它验证函数调用，运行适当的代码，然后将结果发送回推理引擎。 总之，Kani被提出作为语言模型应用程序开发者所面临问题的解决方案。它允许定制、灵活性和使用开源方法创建令人难以置信的应用程序，使开发人员能够构建功能丰富的应用程序，并通过提供聊天交互的基本构建模块来保持控制和互操作性。

基于Transformer构建的大型语言模型（LLM），包括ChatGPT和GPT-4，展示了惊人的自然语言处理能力。Transformer-based NLP模型的创建引发了在计算机视觉和其他模态中设计和使用基于Transformer的模型的进展。自2022年11月以来，受到ChatGPT多样化特性和广泛赞誉的启发，LLM已经在临床研究、药学、放射学、阿尔茨海默病、农业和脑科学研究中得到应用，然而，它们在专业领域如医疗保健中的应用尚未广泛采用。首先，由于隐私法律的限制，医院无法将数据交换或上传到商业模型如ChatGPT或GPT-4，因此，本地化的大型语言模型对于现实世界的医疗保健至关重要。 需要在临床上有意义的领域数据上得到充分训练的模型，因为在特定领域如放射学这样的领域中，经过ChatGPT、GPT-4和PaLM 2等广域领域训练的LLM需要更多的医学专业知识。此外，虽然像ChatGPT这样的模型的Radiology-Llama2能够准确模仿放射学家的语言模式，但它们提供的回复更像维基百科，而不是实际放射学家使用的清晰简明的语言，这加快了信息传递的速度。最后，他们的研究为根据每位医生的偏好定制放射学助手铺平了道路。 通过指令调整来为放射学提供放射学印象的Radiology-Llama2 LLM填补了文献中的这一空白。研究表明，它在生成的印象的连贯性、简洁性和临床实用性方面优于标准LLM。 • 最先进的性能：在MIMIC-CXR和OpenI数据集上，超过所有其他语言模型以生成临床印象，创立了新的标准。 • 灵活性和动态性：与基于BERT的竞争对手不同，放射学-Llama2不受特定输入结构的限制，可以适应更广泛的输入和各种放射学任务，包括复杂的推理。 • 具有对话能力的临床可用性：生成式LLM具有内置的对话能力，可以回应查询并提供类似人类的上下文信息。这提高了诊断和报告的能力，使Radiology-Llama2对医学从业者在临床背景下非常有帮助。 图1显示了Radiology-Llama2的整体结构 当适当构建时，本地化的LLM可以革命性地改变放射学，就像Radiology-Llama2所展示的那样。 如果受到适当的监管，它对于临床决策辅助和其他用途具有很大的潜力。这项研究的结果为其他医学专业领域中的专门LLM打开了大门。总之，Radiology-Llama2是在医学中使用LLM的重要进展。这样的专门LLM可以通过对模型构建和评估的持续研究促进医疗人工智能的进步。