Tag: Applications

虽然像GPT-4和LLaMA这样的大型语言模型正在快速重新塑造现代应用，但它们的推理速度较慢且很难优化，因为它们是基于自回归解码的。LLM的请求延迟主要取决于请求的答案长度，或者等效地说，解码步骤的数量，因为每个自回归解码步骤一次只产生一个标记。不幸的是，当前的GPU并行处理能力通常没有得到充分利用，因为每个解码步骤没有利用它。这对于许多实际的LLM应用（如聊天机器人和个人助理）来说是个问题，它们依赖于即时响应，并因此经常产生具有低延迟的大序列。 自回归解码可以通过使用像Medusa和OSD这样的猜测解码方法加速，这些方法使用“猜测和验证”的策略，其中初步模型对未来的几个可能标记进行预测，然后原始LLM并行地检查这些预测。这些方法可以通过利用需要更少解码步骤时的情况来减少延迟。然而，它们也有一些限制。首先，标记接受率，或者等效地说，草稿模型正确预测主模型输出的能力，是基于猜测解码方法能够实现的最大速度增加的上界。其次，开发可靠的初步模型并不容易，通常需要更多的训练和精心调整来应对随时间变化的流量变化。 LMSYS ORG的一项新研究提出了前瞻解码，这是一种新颖的精确解码技术，用于解决这些困难。虽然在单个步骤中解码许多连续标记在计算上是不可行的，但观察到LLM可以同时生成多个正交n-gram。这些n-gram有可能适应所创建序列的未来部分。传统的雅可比迭代方法被改进为并行解码，这样可以将自回归解码视为非线性方程的解。生成的n-gram被记录、检查，然后（如果合适）被并入序列。前瞻解码特别值得注意的是： 它不使用初步模型，从而加速了推出速度。 对于每个阶段，通过log(FLOPs)因子减少了总解码步骤的数量。 研究人员证明了前瞻解码显著降低了延迟，达到了1.5倍到2.3倍的减少，而几乎没有增加计算负担。最重要的是，它允许在处理方面的权衡来减少延迟，尽管收益递减。 研究人员已经创建了他们的实现，使前瞻解码与huggingface/transformers配合使用。HuggingFace提供了一个本地生成的函数，但用户可以通过几行代码显著提高其效率。 雅可比迭代是一种解决非线性系统的历经验证的技术。LLM推理也可以用于并行生成标记，而无需预训练模型。由于雅可比解码的每个步骤都涉及对>1个标记的LLM前向计算，因此从所需的FLOPs角度来看，它比每个自回归解码步骤更昂贵。研究人员观察到，在尝试显着提高雅可比解码在实际应用中的墙钟性能时可能会遇到几个困难。虽然它可以在一系列步骤中解码多个标记，但它通常会错误地排列它们的顺序。即使正确地预测，标记也经常在下一个周期被替换。因此，很少有迭代成功地同时解码和正确放置多个标记。由于这一点，使用并行解码的整个目的被取消了。通常，它不会导致性能下降，因为图形处理单元具有并行处理能力。 前瞻解码可以通过利用雅可比解码生成并行n-gram的能力来避免其缺点。在一个位置处，每个新标记都是使用之前迭代中该位置的值进行解码，就像雅可比解码中一样。由于这个过程，会形成许多n-gram，这在每个标记位置上建立了历史标记的时间线。为了使用这些，前瞻解码将根据它们的轨迹收集和缓存这些n-gram。前瞻解码同时从缓存中检查有希望的n-gram，并使用雅可比迭代进行未来标记的并行解码。 每个前瞻解码阶段都被分为两个平行分支——前瞻分支和验证分支，以提高效率。为了从雅可比迭代轨迹中生成n-gram，前瞻分支保持一个大小恒定的二维窗口。同时，验证分支选择并检查显示潜力的n-gram候选项。 由于内存带宽是LLM解码的主要瓶颈，研究人员将前瞻分支和验证分支合并为单个传递，利用GPU的并行处理能力，同时隐藏任何相关的开销。 团队对LLaMA-2-Chat和CodeLLaMA在MT-bench、HumanEval和GSM8K上的不同尺寸进行了测试，以了解他们的前瞻解码技术的有效性。前瞻解码技术可以提供速度提升，无需微调或预备模型。在fp16精度下，他们在单个A100 GPU上评估了7B、13B和33B模型，以及在两个A100 GPU上使用流水线并行性评估了70B模型。 MT-Bench LLaMA讨论：在许多模型配置中，前瞻解码所实现的加速比约为1.5倍。 HumanEval的CodeLLaMA：在HumanEval上使用前瞻解码时，CodeLLaMA的延迟时间缩短了两倍以上。这是因为代码中包含了许多容易猜测的N-gram。 GSM8K的教学CodeLLaMA：通过前瞻解码，CodeLLama-Instructor在GSM8K的数学挑战中将延迟时间缩短了1.8倍。 本文《‘前瞻解码’：一种并行解码算法加速LLM推断》首发于MarkTechPost。

大型语言模型（LLMs）最近受到人工智能（AI）界的广泛赞赏。这些模型具有卓越的能力，在编码、数学、法律乃至理解人类意图和情感等领域都表现出色。基于自然语言处理、理解和生成的基本原理，这些模型在几乎每个行业中都具有巨大的潜力。 LLMs不仅能生成文本，还能进行图像处理、音频识别和强化学习，证明了它们的适应性和广泛的应用领域。由OpenAI最近推出的GPT-4因其多模态特性而变得非常受欢迎。与GPT 3.5不同，GPT-4既可以接受文本形式的输入，也可以接受图像形式的输入。一些研究甚至显示，GPT-4展示了人工通用智能（AGI）的初步证据。GPT-4在通用AI任务中的有效性已经引起科学家和研究人员对LLMs在不同科学领域的关注。 在最新的研究中，一支研究团队研究了LLMs在自然科学研究背景下的能力，特别关注于GPT-4。该研究主要关注生物学、材料设计、药物开发、计算化学和偏微分方程等自然科学领域，以涵盖广泛的自然科学。利用GPT-4作为深入研究的LLM，该研究提供了关于LLMs的性能和其在特定科学领域中可能应用的全面概述。 该研究涵盖了多个科学学科领域，如生物学、材料设计、偏微分方程、密度泛函理论和分子动力学在计算化学中的应用。团队分享称，已经对该模型在科学任务上进行了评估，以充分实现GPT-4在研究领域中的潜力，并验证其领域专业知识。LLM应加速科学进展，优化资源分配，并促进跨学科研究。 研究团队分享称，根据初步结果，GPT-4已经显示出在一系列科学应用中有潜力，并展示了其处理复杂问题解决和知识整合任务的能力。该研究论文对GPT-4在多个领域的表现进行了全面考察，既强调了其优势，也指出了其劣势。评估包括GPT-4的知识库、科学理解能力、数值计算技能和多样化预测能力。 研究表明，GPT-4在生物学和材料设计领域显示出广泛的领域专长，有助于满足某些需求。该模型展现了在药物研发领域预测属性的潜力。GPT-4在计算化学和偏微分方程研究领域中也有助于计算和预测，但对于定量计算任务，需要稍稍提高准确性。 总之，这项研究非常具有启发性，因为它突显了大规模机器学习和LLMs的快速发展。它还关注了这一充满活力的课题未来研究的重点，即基本科学模型的构建以及LLMs与专业科学工具和模型的集成。

在人工智能迅猛发展的时代，大型语言模型（LLMs）的引入改变了机器与人类相互交互的方式。最近几个月，LLMs的数量呈指数增长，具备令人难以置信的能力和超先进的算法。像GPT 3.5、GPT 4、LLaMa、PaLM等模型在自然语言理解（NLU）、处理、翻译、摘要甚至内容生成方面展示了一些卓越的人类仿真能力。 这些LLMs是通过大量数据进行训练的。然而，当这些模型需要适应新数据集时，就会遇到挑战。研究人员通常在将这些庞大的LLMs适应新数据集时面临问题，因为全面微调的开销和内存需求很高。为解决LLM微调中的内存效率问题，最近一个研究团队提出了参数高效微调的方法。 通过学习原先预训练模型的较小、微调扩展，这些技术可以降低微调所需的内存量。低秩适应（LoRA）是一种受欢迎的有效LLM调整策略，它涉及重新参数化预训练模型的权重矩阵，仅微调其两个组成部分，即L1和L2，其余组成部分保持不变。 研究人员通过将LoRA应用于量化的预训练模型来增强其内存效率。为了节省内存，量化降低了模型的参数精度，如果量化显著，则零初始化可能不是最优选择。为了克服量化误差，团队提出了一种称为LQ-LoRA的LoRA变种。 LQ-LoRA通过一种受主成分分析（PCA）影响的迭代技术，将权重矩阵分解为量化组件Q和低秩组件L1L2。在LQ-LoRa中，L1和L2在适应过程中得到改进，并捕获了初始权重矩阵的高方差子空间。 团队表示，该方法使用整数线性规划来找到混合量化方法，以解决将同一量化配置应用于所有层的问题。通过给定总体期望比特率，该技术允许为每个矩阵分配不同的配置，包括比特数和块大小。 团队使用LQ-LoRA修改了不同大小的RoBERTa和LLaMA-2模型，分别是7B和70B。结果表明，LQ-LoRA比GPTQ-LoRA和强QLOrA基线表现更好。通过将2.5比特的LLaMA-2模型训练在OpenAssistant基准上，与使用4比特QLoRA微调的模型具有竞争力，表明建议的方法允许更激进的量化。 此外，通过调整数据校准语言模型，LQ-LoRA在模型压缩方面也表现出良好的性能。尽管比特率降低，但团队能够生成与完全精度下的原始模型具有竞争力的2.75比特LLaMA-2-70B模型。这表明该建议的方法可以大幅减少大型语言模型的内存需求，而不会牺牲特定活动的功能。 总而言之，LQ-LoRA是语言模型发展的一个重要转折点。其内存高效适应和数据感知考虑，以及动态量化参数调整，肯定会在人工智能领域引起范式转变。

大型语言模型（LLMs）虽然在各种语言任务上高效，但往往显示出弱推理能力，会犯下非常简单的错误。它们有时会因为无关的语境而做出错误的判断，或者展示出一种叫做谄媚的问题，即模型虽然输入的文本是错误的，但仍然同意它。研究人员试图通过增加监督式训练数据或采用强化学习策略来解决这些问题。然而，更有效的解决方案是修复变压器架构中的潜在瓶颈，特别是注意机制。 在变压器中，软注意力往往会赋予输入文本的大部分重要性，包括不相关的内容。此外，由于训练方式的原因，它过于关注重复的标记，导致了上述问题。Meta的研究人员团队引入了一种新方法，称为系统2注意力（S2A），利用调整指令的LLM来识别和提取输入上下文的最相关部分，从而减轻了不必要信息的影响。这种方法的另一个优点是，控制LLM的注意力焦点成为可能，类似于人类如何处理注意力。 变压器中的注意机制使其能够识别文本中的相关性。虽然这增强了模型的下一个单词预测能力，但同时也使得模型更容易被语境中的错误相关性所误导。文本中重复单词的概率随着每次迭代而增加，形成了一个正反馈循环，导致模型专注于特定主题。S2A的工作方式是首先删除上下文中的不必要部分并重新生成，然后将其用于输出最终结果，而不是使用原始文本。 研究人员进行了各种实验来测试他们方法的性能。他们得出了以下结果： S2A提高了模型对有关观点的问题的真实性。 S2A增加了长篇生成文本的客观性，表明它不容易受到意见的影响。 此外，S2A还提高了模型在包含无关句子的数学问题上的性能。 研究人员还测试了S2A方法的不同变体（关注相关性而非无关性，删除不必要的词后保留原始语境等）。他们发现，除了少数实验外，这些变体的表现不如原始方法。 尽管该方法能够绕过无关信息，但仍可能受到其影响。此外，与标准LLM再生相比，它更具计算开销。然而，这个问题可以通过加快技巧来解决，研究人员将其留给未来工作。总体而言，S2A是一种可以防止LLM专注于文本中不重要部分以增加模型能力的方法。该技术改善了模型在处理观点提示和包含无关句子的数学问题时的性能。虽然仍有进一步改进的空间，但也可以探索其他途径以提高LLMs的推理能力。

最近，LLM模型被广泛应用于语言编程相关的活动中，成为强大的语言代理人。尽管取得了令人印象深刻的进展，但在实际的编程环境需求中，这些模型在静态实验环境下展现的能力与不断变化的实际编程场景之间仍存在很大差距。 标准代码生成基准测试评估LLM模型能否从零开始生成新的代码。然而，编程规范很少需要从头开始生成所有代码组件。 在编写实际应用程序的代码时，通常会使用现有的公开库。这些开发的库为各种挑战提供了强大的、经过实战检验的解决方案。因此，评估代码LLM模型的成功应该不仅限于函数产生的能力，还包括其能够正确使用参数的能力。 耶鲁大学、南京大学和北京大学的一项新研究提出了ML-BENCH，这是一个真实且全面的基准数据集，用于评估LLM模型理解用户指令、浏览GitHub仓库和产生可执行代码的能力。ML-BENCH提供了高质量、可教授的满足指令要求的代码。ML-BENCH由9,444个示例、130个任务和14个流行的机器学习GitHub仓库组成。 研究人员在他们的调查中使用Pass@k和参数命中精度作为度量标准。使用这些工具，他们在ML-BENCH环境中探索了GPT-3.5-16k、GPT-4-32k、Claude 2和CodeLlama的潜力。ML-BENCH为LLM模型提供了新的测试。实证结果显示，GPT模型和Claude 2的表现远远超过CodeLlama。虽然GPT-4相对于其他LLM模型表现出了显著的性能提升，但在实验中仅完成了39.73%的任务。其他众所周知的LLM模型出现了幻觉和表现不佳。研究结果表明，LLM模型不仅需要编写代码，还需要理解详尽的文档。这项技术的关键贡献是ML-AGENT的提出，它是一种自主语言代理人，旨在通过错误分析来解决发现的不足。这些代理人可以理解人类语言和指示，生成高效的代码并完成困难的任务。 ML-Bench和ML-Agent代表了自动化机器学习过程的艺术水平的重大进展。研究人员希望这能引起其他研究人员和实践者的兴趣。

大型语言模型的复杂性越来越高，评估也变得更加困难。社区在相对短的时间内产生了许多基准，但基准分数并不总是与实际性能相对应。一些证据表明，许多流行的基准测试可能使用了用于微调和预训练的有缺陷的数据集。 尽管普遍认为这是一个重要问题，但找出污染源一直很困难。N-gram叠加和嵌入相似性搜索都得到了广泛应用。字符串匹配在GPT-4、PaLM和Llama等最新创新中被广泛使用，用于N-gram叠加污染的检测。然而，其精确度略低。嵌入相似性搜索会查看先前训练模型（如BERT）的嵌入，以发现相关且可能被污染的样本。然而，在决定相似性水平时在召回率和精确度之间找到平衡可能很困难。此外，模型训练中有一种新兴趋势，即使用由LLM（例如GPT-4）生成的合成数据，使用字符串匹配来识别污染可能更加困难。 为了研究去污方法，美国加州大学伯克利分校和上海交通大学进行了一项新研究，引入了“重新表述样本”的概念，其语义与原始样本相同，但很难通过现有的污染测试来识别。LLM通过将测试样本翻译和改写成另一种语言生成重新表述样本。研究人员证明，如果将这种重新表述的示例用于训练，则产生的模型对过度拟合非常敏感，并且可以在测试基准上实现极高的性能。使用精细校准的13B Llama模型可以与GPT-4在所有基准测试中的性能匹敌，同时通过N-gram叠加作为污染而不被察觉。这种行为在广泛使用的基准测试如MMLU、GSM-8k和HumanEval中观察到。因此，识别重新表述样本的能力至关重要。 研究人员解释了传统去污技术的缺陷，并提出了一种新颖的基于LLM的方法。为了确定任何前k个样本是否与测试实例过于相似，他们首先应用嵌入相似性搜索来找到与所讨论的测试样本最相似的模型。结果证明，他们建议的LLM去污方法优于传统技术。他们在用于微调和预备训练的各种热门数据集上测试了他们的去污器。同时还发现，GPT-3.5的合成数据集CodeAlpaca中有相当一部分重新表述样本来自HumanEval（确切地说，占12.8%）。这暗示了在使用LLM生成的假数据进行训练时可能存在污染的潜在可能。 研究人员建议社区为使用公共基准测试来评估LLM建立更全面的去污流程。他们希望创建新的一次性测试，如Codeforces和Kaggle竞赛，以公平评估LLM并克服这些基本问题。

来自斯坦福大学和北卡罗来纳大学教堂山分校的研究人员解决了由语言模型产生的事实不准确的音调，也称为幻觉。在无需人工标注的情况下，研究人员对语言模型进行了微调，以增强在开放式生成环境中的事实准确性。利用自然语言处理的最新创新，他们采用了通过与外部知识库一致性评估事实性的方法，并使用直接偏好优化算法进行微调。该方法显著改善了Llama-2的事实性，大大降低了生成传记和医学问题回答方面的事实错误率，达到了7B规模。 各种策略旨在减轻语言模型中的事实错误，包括提示、内部表示扰动和基于检索的方法。在冲突解决和事实保持方面存在挑战，尤其是随着模型规模的增大。FactScore变种采用了训练期间的检索来解决推理时间复杂度的问题。通过微调实现的基于偏好的学习能够有效减少错误事实。该研究引入了一种无参考方法，利用语言模型的不确定性估计真实性。从自动生成的偏好对中学习事实性成为一种省时高效的方法，展示了不需要人工干预的潜力性改进。 该研究侧重于无限制生成环境，提出了一种通过微调语言模型来改善事实性的方法，无需人工标注。他们利用最新的自然语言处理创新，包括通过外部知识库判断事实性和使用直接偏好优化算法。该方法涉及从自动生成的事实性偏好排序中学习，与基准数据集上的其他策略相比，生成传记和回答医学问题的事实错误率显着降低。 本研究在判断事实性方面结合了与外部知识库一致性或模型置信度评分。 使用直接偏好优化算法进行微调，侧重于超越监督模仿的目标。它提出使用现有的检索系统或新颖的无检索方法，从自动生成的事实性偏好排序中学习。评估包括FactScore等自动度量标准，人工评估者的观点，以及与推理时间干预和对比层解码等方法的比较。 该方法证明了从自动生成的事实性偏好排序中学习以提高语言模型事实性的有效性。经过微调的Llama-2模型在生成传记方面的事实错误率降低了58％，在回答医学问题方面降低了40％，与RLHF或解码策略相比。 人工评估者认为FactTune-FS模型优于SFT模型。 GPT-4评估和FactScore评级显示高相关性，表明FactTune-FS在减少事实错误方面取得了成功。 该研究提出了改善语言模型事实性的有效策略，着重于长篇生成。 探索了两种方法：利用外部知识进行基于参考的真实性估计和利用模型的不确定性进行无参考估计。 用任一方法微调语言模型始终能减少错误事实。 无参考方法为事实性改进提供了可扩展的自我监督策略，无需金标准参考语料库。 实验结果显示出有希望的研究方向，建议进一步探索结合事实性调整方法并将方法扩展至更大模型。 未来的研究建议探索事实性调整与现有方法的组合，例如事实性调整DOLA实验。 建议进一步研究将事实性增强的解码技术与事实性调整过程相结合以提高事实性。 通过评估不同方法的组合效果，如事实性调整和推理时间干预，可以提供关于补充机制的见解。 建议研究较简单的提取原子事实的方法，并将事实性调整方法扩展到更大模型，如GPT-4。