Tag: Technology

现代大型语言模型（LLM）在很大程度上依赖于数学推理，这是本文的主要焦点。尽管在这个领域取得了一些进展，但封闭源模型（如GPT-4、PaLM-2和Claude 2）在GSM8K和MATH等流行的数学推理基准中占据主导地位，而开源模型（如Llama、Falcon和OPT）则远远落后。 解决这个差距的两种主要方法是： 持续的预训练，例如Galactica和MINERVA，现在它正在使用链接到数学的超过1000亿个网页数据上训练LLM。虽然计算代价高昂，但这种方法可以提高模型在科学推理方面的能力。 使用每个数据集独特的训练数据，使用拒绝采样微调（RFT）和WizardMath等微调方法来完善LLM。虽然这些方法在其领域内是有效的，但在需要推理的其他数学领域中无法转移。 滑铁卢大学、俄亥俄州立大学、香港科技大学、爱丁堡大学和IN.AI最近的研究探索了一种轻量级但具有普适性的数学指令调整技术，以提高LLM在数学推理能力上的表现（即不仅仅是微调任务）。 目前的方法在很大程度上依赖于思维链（CoT）方法，描述了它们如何以自然语言步骤解决数学问题。但是，当涉及到计算精度和复杂的数学或算法推理方法时，这种方法表现不佳。基于代码的技术，如PoT和PAL，使用第三方资源来简化数学求解过程。 该方法建议将计算密集型任务（例如使用sympy解二次方程或使用numpy计算矩阵特征值）委托给一个独立的Python解释器。另一方面，PoT在处理更抽象的推理场景（如常识推理、形式逻辑和抽象代数）时具有一些局限性，特别是在缺乏现有API的情况下。 为了充分利用CoT和PoT的优势，该团队提出了一个名为MathInstruct的数学混合指令调整数据集。它的主要特点包括： 全面覆盖各种数学领域和复杂程度 混合CoT和PoT的解释。 六个全新选择的和七个现有的数据集为MathInstruct的数学解释提供了基础。从建模的角度来看，研究人员训练和评估了约50个独特模型，基线范围从7B到70B，以了解各种输入输出格式和数据源的影响。 结果表明，这些模型在数学通用性方面表现出色。 研究人员在各种数据集上对MAmmoTH进行了广泛测试，从领域内（IND）到领域外（OOD），例如GSM8K、MATH、AQuA-RAT和NumGLUE。这些模型显著提高了开源LLM在数学推理上的效率，并且在OOD数据集上比最先进的方法具有更好的泛化能力。在流行的竞赛级别MATH数据集上，7B模型的结果超过了WizardMath（开源MATH SoTA）的3.5倍（35.2%对10.7%），而34B MAmmoTH-Coder（在Code Llama上进行了微调）的结果超过了GPT-4（使用CoT）。这些模型中的MAmmoTH和MAmmoTH-Coder都显著提高了以前可用的开源模型的准确性。

基于Transformer的大型语言模型（LLMs），如GPT、PaLM和LLaMA，已广泛用于各种实际应用中。这些模型已应用于各种任务，包括文本生成、翻译和自然语言解释。然而，这些模型的高推理成本，特别是在对低延迟要求很高的情况下，是一个主要关注点。这些模型使用的自回归解码方法是高推理成本的主要原因。由于自回归解码过程中每个输出令牌是顺序生成的，因此存在大量的Transformer调用。每个Transformer调用的内存带宽受限，导致计算效率低下和执行时间长。 为了加速大型语言模型（LLMs）的推理过程，最近的一项研究引入了一种称为自我推测解码的独特方法，该方法不需要辅助模型。这种方法解决了快速生成推理结果并保持输出质量的问题。它的特点是一个由起草和验证组成的两阶段过程。 起草阶段 – 起草阶段的目标是更快地生成起草令牌，即使它们的质量略低于使用传统自回归方法生成的令牌。为了实现这一目标，该方法在起草过程中绕过了一些中间层。LLMs中的这些中间层通常会改进输出，但它们在推理过程中也会占用大量时间和资源。 验证阶段 – 该技术在起草阶段生成起草输出令牌，然后使用原始未经修改的LLM在单个前向传递中验证它们。使用传统的自回归解码技术，LLM会产生相同的最终结果，这由验证步骤确保。因此，即使起草阶段更快地生成了令牌，最终产品的质量也得到了保证。 自我推测解码不需要进一步的神经网络训练，这是它的主要优点之一。为了实现更快的推理，现有方法常常需要训练辅助模型或对LLM的架构进行重大改变，这可能具有挑战性且资源密集。而自我推测解码是一种“即插即用”的方法，可以在现有LLMs上添加而无需额外的训练或模型修改。 研究为自我推测解码的有效性提供了实证支持。基于LLaMA-2及其改进模型的基准结果显示，自我推测解码方法比传统的自回归方法可以更快地解码数据高达1.73倍。这具有重要的优势，使推理过程大约快两倍，同时保持输出质量，在延迟是一个问题的情况下非常重要。 总之，自我推测解码是一种革命性的方法，改善了大型语言模型推理信息的方式。它通过建立起草和验证的两步过程，选择在起草阶段跳过哪些层以更快地生成令牌，并在验证阶段验证输出质量来实现这一目标。该方法加速了LLM的推理过程，而不会增加任何额外的内存负担或神经网络的训练要求。

在自然语言处理（NLP）和人工智能（AI）不断发展的领域中，大型语言模型（LLMs）已经成为强大的工具，在各种NLP任务中展示出了卓越的能力。然而，当前模型中存在一个重要的差距，即缺乏专门为IT运营设计的大型语言模型（LLMs）。由于IT运营领域具有独特的术语、程序和语境复杂性，这个差距带来了挑战。因此，迫切需要创建专门的LLMs，以有效地应对IT运营中的复杂性。 在IT领域内，NLP和LLM技术的重要性日益增长。与信息安全、系统架构和其他IT运营相关的任务需要领域特定的知识和术语。传统的NLP模型往往难以解读IT运营的复杂细微差别，从而需要专门的语言模型。 为了解决这一挑战，一个研究团队推出了一个名为“Owl”的大型语言模型，专门针对IT运营进行了定制。这个专门的LLM是在一个被称为“Owl-Instruct”的精心策划的数据集上进行训练的，该数据集涵盖了广泛的IT相关领域，包括信息安全、系统架构等等。目标是为Owl提供在IT相关任务中取得优异表现所需的领域特定知识。 研究人员采用自我教导策略，在Owl-Instruct数据集上训练了Owl。这种方法可以使模型生成多样的指令，涵盖单轮和多轮场景。为了评估模型的性能，团队引入了“Owl-Bench”基准数据集，其中包括九个不同的IT运营领域。 他们提出了一种“适配器混合”策略，允许针对不同输入的任务特定和领域特定表示，通过促进有监督微调来进一步提高模型的性能。TopK(·)是用来计算所有LoRA适配器的选择概率并选择服从概率分布的前k个LoRA专家的选择函数。适配器混合策略是通过激活前k个专家来学习不同输入句子的语言敏感表示。 尽管Owl缺乏训练数据，但在RandIndex指标和最佳F1得分（0.894）上取得了可比较的性能（0.886）。在RandIndex比较中，与在域内日志上进行了广泛训练的LogStamp相比，Owl仅表现出微小的性能下降。在细粒度F1比较领域中，Owl明显优于其他基线，能够准确识别以前未见的日志中的变量。值得一提的是，logPrompt的基础模型是ChatGPT。与在相同基本设置下的ChatGPT相比，Owl在这个任务中表现出更优异的性能，突显了我们的大型模型在运营和维护方面的强大泛化能力。 总之，Owl代表了IT运营领域的一项突破性进展。它是一个精心训练并在IT相关基准上进行严格评估的专门的大型语言模型。这个专门的LLM革新了IT运营的管理和理解方式。研究人员的工作不仅解决了领域特定LLMs的需求，还为高效的IT数据管理和分析开辟了新的途径，最终推动了IT运营管理领域的发展。

大型语言模型应用程序受到了广泛关注。凭借其惊人的能力，它们变得越来越复杂。通过结合工具使用跟踪和检索增强等功能，这些模型在人工智能社区中引起了很多关注。现有的构建此类应用程序的框架采用了一种自以为是的方法，指导开发人员如何格式化其提示，并对自定义和可重复性施加了一定的限制。 为了解决这些问题，宾夕法尼亚大学的研究团队最近推出了Kani，一种轻量级、可扩展且与模型无关的开源框架，专门用于构建语言模型应用程序。通过支持聊天交互的核心元素，Kani旨在使开发人员能够添加各种复杂的功能。模型交互、聊天管理和强大的函数调用是其中一些关键要素。 开发人员可以利用Kani的构建模块创建语言模型应用程序，而不受预定义结构或限制的限制，因为Kani以其适应性和可定制性而脱颖而出。所有Kani的基本功能都被设计为易于修改，并且研究团队还提供了广泛的文档。这使得开发人员可以根据自己的独特需求和要求修改框架的功能。 Kani是一种对学者、业余爱好者和商业人士都有用的工具。为了提高他们工作的可重复性，Kani帮助研究人员创建语言模型应用程序，同时提供了精细的控制。即使使用GPT-4或其他复杂模型，用户也可以使用Kani仅几行代码快速开始设计应用程序。Kani的灵活性和耐用性对于行业工作者尤其有利，特别是在聊天管理和函数管理等领域。 Kani需要Python 3.10+，简化了语言模型的安装和查询。通过pip安装，它提供了核心依赖项和可选的附加功能，如OpenAI引擎。Kani框架中的基本处理单元称为“Kani”。在使用Kani构建应用程序时，用户将使用和操作各种Kani对象，包括三个基本组件：推理引擎、聊天历史和函数上下文。 通过推理引擎，Kani对象与语言模型进行通信。在不更改应用程序代码的情况下，这种交互使开发人员能够轻松地在不同模型之间切换。Kani跟踪令牌总数和主题切换。它确保对话的上下文保持在模型的范围内，避免过度。最后，语言模型可以通过Kani访问可调用的函数。它验证函数调用，运行适当的代码，然后将结果发送回推理引擎。 总之，Kani被提出作为语言模型应用程序开发者所面临问题的解决方案。它允许定制、灵活性和使用开源方法创建令人难以置信的应用程序，使开发人员能够构建功能丰富的应用程序，并通过提供聊天交互的基本构建模块来保持控制和互操作性。

基于Transformer构建的大型语言模型（LLM），包括ChatGPT和GPT-4，展示了惊人的自然语言处理能力。Transformer-based NLP模型的创建引发了在计算机视觉和其他模态中设计和使用基于Transformer的模型的进展。自2022年11月以来，受到ChatGPT多样化特性和广泛赞誉的启发，LLM已经在临床研究、药学、放射学、阿尔茨海默病、农业和脑科学研究中得到应用，然而，它们在专业领域如医疗保健中的应用尚未广泛采用。首先，由于隐私法律的限制，医院无法将数据交换或上传到商业模型如ChatGPT或GPT-4，因此，本地化的大型语言模型对于现实世界的医疗保健至关重要。 需要在临床上有意义的领域数据上得到充分训练的模型，因为在特定领域如放射学这样的领域中，经过ChatGPT、GPT-4和PaLM 2等广域领域训练的LLM需要更多的医学专业知识。此外，虽然像ChatGPT这样的模型的Radiology-Llama2能够准确模仿放射学家的语言模式，但它们提供的回复更像维基百科，而不是实际放射学家使用的清晰简明的语言，这加快了信息传递的速度。最后，他们的研究为根据每位医生的偏好定制放射学助手铺平了道路。 通过指令调整来为放射学提供放射学印象的Radiology-Llama2 LLM填补了文献中的这一空白。研究表明，它在生成的印象的连贯性、简洁性和临床实用性方面优于标准LLM。 • 最先进的性能：在MIMIC-CXR和OpenI数据集上，超过所有其他语言模型以生成临床印象，创立了新的标准。 • 灵活性和动态性：与基于BERT的竞争对手不同，放射学-Llama2不受特定输入结构的限制，可以适应更广泛的输入和各种放射学任务，包括复杂的推理。 • 具有对话能力的临床可用性：生成式LLM具有内置的对话能力，可以回应查询并提供类似人类的上下文信息。这提高了诊断和报告的能力，使Radiology-Llama2对医学从业者在临床背景下非常有帮助。 图1显示了Radiology-Llama2的整体结构 当适当构建时，本地化的LLM可以革命性地改变放射学，就像Radiology-Llama2所展示的那样。 如果受到适当的监管，它对于临床决策辅助和其他用途具有很大的潜力。这项研究的结果为其他医学专业领域中的专门LLM打开了大门。总之，Radiology-Llama2是在医学中使用LLM的重要进展。这样的专门LLM可以通过对模型构建和评估的持续研究促进医疗人工智能的进步。

在不断发展的自然语言处理（NLP）领域中，机器翻译和语言模型的发展主要受到英语等语种的大量训练数据集的影响。然而，研究人员和实践者面临的一个重要挑战是需要更多多样化且高质量的训练数据，以应对不常用语言的需求。这一限制制约了全球各种语言社群NLP技术的进步。为了解决这个问题，一支专门的研究团队着手创建解决方案，最终诞生了MADLAD-400。 要理解MADLAD-400的重要性，我们必须首先审视多语言NLP数据集的当前情况。长期以来，研究人员一直依赖于从许多来源获取的网络抓取数据来训练机器翻译和语言模型。虽然这种方法对于拥有丰富在线内容的语言取得了显著成果，但在处理不常用语言时效果不佳。 MADLAD-400的研究团队认识到了这种传统方法的局限性。他们了解到网络抓取数据往往伴随着一系列挑战。噪音、不准确性和质量不一的内容只是在依赖网络数据时出现的一些问题。此外，当处理数字存在性有限的语言时，这些问题会更加严重。 针对这些挑战，研究团队着手创建一个跨多种语言范围且符合最高质量和道德内容标准的多语言数据集。他们的努力成果就是MADLAD-400，这个数据集承诺重新定义我们为多语言应用训练和开发NLP模型的方式。 MADLAD-400展示了研究团队的专注和细致精神。这个数据集的与众不同之处在于它经历了严格的审计过程。与许多多语言数据集不同，MADLAD-400并不仅仅依赖于自动化的网络抓取。相反，它涉及对419种语言的广泛手动内容审计。 审计过程可谓艰巨。它需要熟练掌握各种语言的人才，因为研究团队需要仔细检查和评估跨语言边界的数据质量。这种亲自动手的方法确保了数据集符合最高质量标准。 研究人员还详细记录了他们的审计过程。这种透明度对于数据集使用者来说是无价的，它提供了关于确保数据质量所采取的步骤的见解。这份文档不仅是指南，也是科学研究中可重复性的基础原则。 除了手动审计外，研究团队还开发了过滤器和检查机制，以进一步提高数据质量。他们识别和解决了版权材料、仇恨言论和个人信息等问题。这种主动的数据清理方法最大程度地减少了不良内容进入数据集的风险，确保研究人员能够自信地工作。 此外，MADLAD-400还体现了研究团队对包容性的承诺。它涵盖了多种语言，为经常在NLP研究中被忽视的语言社群发声。MADLAD-400打开了开发更具包容性和公平性的NLP技术的大门，包括了主流语言之外的语言。 虽然MADLAD-400的创建和策划本身就是令人印象深刻的成就，但这个数据集的真正价值在于它的实际应用。研究团队进行了大量实验，展示了MADLAD-400在训练大规模机器翻译模型方面的有效性。 结果明显。MADLAD-400显著提高了广泛语言范围内的翻译质量，展示了其推动机器翻译领域发展的潜力。该数据集为跨越语言障碍、促进语言交流提供了坚实的基础。 总的来说，MADLAD-400是多语言自然语言处理领域的一个重要成就。通过精心策划和包容性承诺，这个数据集解决了紧迫的挑战，赋予了研究人员和实践者接纳语言多样性的能力。它在追求更具包容性的多语言NLP的征程中扮演着进步的指引，为语言技术服务于全球受众带来了希望。

如今，像Hugging Face这样的平台使得从AI研究人员到机器学习经验有限的用户都能够更轻松地访问和利用预训练的大型语言模型(LLM)来为不同实体服务。当多个这样的组织或实体在共享类似的任务时，由于隐私法规的限制而无法直接交换本地数据时，联邦学习（FL）成为利用这些实体的集体数据的显著解决方案。FL还提供了强大的隐私保护，保护其模型思想的安全，并允许他们使用不同的方法创建定制模型。 在这项工作中，研究人员建立了一个全面的端到端基准测试流水线，简化了数据集预处理、执行或模拟联邦微调以及在联邦大型语言模型（LLM）微调环境中评估性能的过程，旨在为各种能力演示目的设计。 上述图片展示了FS-LLM的架构，包括三个主要模块：LLMBENCHMARKS、LLM-ALGZOO和LLM-TRAINER。团队已经开发了强大的联邦参数高效微调（PEFT）算法的实现和多功能的编程接口，以便未来的扩展，即使处理闭源LLM，也能够在联邦学习（FL）场景中有效地运行LLM，减少通信和计算开销。 他们的网站上提供了详细的教程：federatedscope.io 您可以通过FederatedScope Playground或Google Colab尝试FederatedScope。 他们的方法还结合了加速技术和资源有效的策略，以在资源约束下微调LLM，并提供灵活的可插拔子例程，用于跨学科研究，例如在个性化联邦学习设置中应用LLM。 该研究包括一系列广泛且可再现的实验证明了FS-LLM的有效性，并在联邦环境中使用最先进的参数高效微调算法建立了先进LLM的基准。根据这些实验结果的发现，我们概述了未来联邦LLM微调研究的一些有希望的方向，以推进FL和LLM社区的发展。

随着人工智能领域的不断进步，其子领域，包括自然语言处理、自然语言生成、自然语言理解和计算机视觉，正变得越来越受欢迎。最近引起很多关注的大型语言模型（LLMs）被用作优化器。它们的能力被用于自然语言理解，以增强优化过程。优化在许多不同的行业和背景中具有实际意义。基于导数的优化方法在处理各种问题方面历史上表现良好。 这也带来了一些挑战，因为在实际情况下，梯度可能只有时而可用，这带来了困难的问题。为了解决这些问题，Google DeepMind的研究人员提出了一种名为OPRO（Optimisation by PROmpting）的独特方法作为解决方案。通过使用LLMs作为优化器，OPRO提供了一种简单而强大的技术。在这种情况下，主要的创新点是使用日常语言来表达优化任务，使流程更简单、更易于理解。 OPRO首先通过自然语言描述优化问题。这意味着问题是用简单的语言表达，而不是复杂的数学公式，这样更容易理解。其次，它提供了一个迭代的解决方案生成过程。LLM根据给定的自然语言提示为每个优化步骤创建新的候选解。这个提示是重要的，它包含了先前创建的解以及它们的相关值的详细信息。这些传统选项作为进一步发展的起点。 然后，更新和评估这些解，并评估它们的性能或质量。在经过检查的解后，下一个优化步骤的提示将包含这些解。随着迭代过程的进行，解逐渐改进。一些实际的例子被用来说明OPRO的有效性。首先，OPRO被用来解决两个众所周知的优化问题：线性回归问题和旅行推销员问题。这些问题是显著的，并作为评估该方法有效性的标准。OPRO展示了其识别出这些问题的优秀解的能力。 其次，它被用于提示优化。OPRO不仅仅解决特定的优化问题，还涉及到优化提示本身的问题。目标是找到能够提高任务准确性的指令。这对于涉及自然语言处理的任务尤其重要，因为提示的结构和内容对结果有很大影响。 团队表明OPRO优化的提示通常优于人类创建的提示。在一个例子中，它使Big-Bench Hard工作负载的性能提高了高达惊人的50%，在GSM8K基准测试中提高了8%。这显示了OPRO在改善优化结果方面的巨大潜力。 总之，OPRO提供了一种利用大型语言模型进行优化的革命性方法。OPRO通过用普通语言解释优化任务并反复生成和改进解来展示其在解决常见优化问题和改善提示方面的效率。结果表明，与传统方法相比，尤其是在梯度信息不可用或难以收集的情况下，性能提升显著。

T2I-Adapter是即插即用的工具，可以增强文本到图像模型，而无需进行完整的重新训练，使其比ControlNet等其他替代方案更高效。它们将内部知识与外部信号对齐，实现精确的图像编辑。与要求大量计算资源并减慢图像生成速度的ControlNet不同，T2I-Adapter仅在去噪过程中运行一次，提供更快更高效的解决方案。 模型参数和存储需求清楚地展示了这一优势。例如，ControlNet-SDXL拥有1251亿个参数和2.5 GB的fp16格式存储空间。相比之下，T2I-Adapter-SDXL将参数（7900万）和存储空间（158 MB）大幅减少，分别减少了93.69%和94%。 https://huggingface.co/blog/t2i-sdxl-adapters Diffusers团队与T2I-Adapter研究人员的最新合作为Stable Diffusion XL（SDXL）引入了对T2I-Adapter的支持。这次合作主要集中在从头开始训练SDXL上的T2I-Adapter，并在包括素描、边缘检测、线稿、深度和openpose在内的各种条件因素下取得了令人满意的结果。 训练T2I-Adapter-SDXL使用了来自LAION-Aesthetics V2的300万个高分辨率图像-文本对，训练设置规定了20000-35000步、批量大小为128（数据并行，单个GPU批量大小为16）、常量学习率为1e-5以及混合精度（fp16）。这些设置在速度、内存效率和图像质量之间取得了平衡，使其适用于社区使用。 在Diffusers框架中使用T2I-Adapter-SDXL非常简单，只需按照一系列步骤安装所需的依赖包，包括diffusers、controlnet_aux、transformers和accelerate。随后，使用T2I-Adapter-SDXL进行图像生成主要包括两个步骤：以适当的控制格式准备条件图像，并将这些图像和提示传递给StableDiffusionXLAdapterPipeline。 在实际示例中，加载Lineart Adapter，并对输入图像进行线稿检测。随后，使用定义的提示和参数启动图像生成，允许用户通过”adapter_conditioning_scale”和”adapter_conditioning_factor”等参数来控制应用的条件程度。 总之，T2I-Adapter为ControlNet提供了引人注目的替代方案，解决了微调预训练文本到图像模型的计算挑战。它们体积小、操作高效、易于集成，是在各种条件下自定义和控制图像生成的有价值工具，为人工智能的创造力和创新提供了支持。