Tag: Applications

大型语言模型在各种任务中表现出了卓越的性能。从生产独特且有创意的内容和提出问题答案，到翻译语言和概括文本段落，LLM在模拟人类方面非常成功。一些知名的LLM，如GPT、BERT和PaLM，因准确遵循指令和访问大量高质量数据而成为头条新闻。像GPT4和PaLM这样的模型不是开源的，这阻止了任何人了解其架构和训练数据。另一方面，像Pythia、LLaMA和Flan-T5这样的开源LLM提供了一个机会，让研究人员在自定义指令数据集上微调和改进模型。这使得像Alpaca、Vicuna、OpenAssistant和MPT这样的更小更高效的LLM得以开发。 市场上没有一个单一的开源LLM处于领先地位，而不同例子的最佳LLM可能会有很大的差异。因此，为了不断为每个输入产生改进的答案，动态整合这些LLM是必要的。通过整合各种LLM的独特贡献，可以减少偏见、误差和不确定性，从而产生更符合人类偏好的结果。为了解决这个问题，来自艾伦人工智能研究所、南加州大学和浙江大学的研究人员提出了LLM-BLENDER，这是一个集成框架，通过利用多个开源大型语言模型的许多优势，始终获得卓越的性能。 LLM-BLENDER由两个模块组成——PAIRRANKER和GENFUSER。这些模块表明，不同例子的最佳LLM可能会有很大的差异。第一个模块PAIRRANKER被开发出来，用于识别潜在输出之间微小的变化。它使用先进的成对比较技术，其中原始文本和来自各种LLM的两个候选输出作为输入。为了共同编码输入和候选对，它利用交叉注意力编码器，如RoBERTa，PAIRRANKER可以使用这种编码来确定两个候选的质量。 第二个模块GENFUSER专注于合并排名靠前的候选项以生成更好的输出。它最大程度地利用所选候选项的优点，同时最小化它们的缺点。GENFUSER旨在通过合并各种LLM的输出来开发优于任何一个LLM的输出。 为了评估，团队提供了一个称为MixInstruct的基准数据集，它结合了Oracle成对比较和各种指令数据集。该数据集使用11个流行的开源LLM为各种遵循指令的任务生成多个输入的候选项。它包括训练、验证和测试示例，具有自动评估的Oracle比较。这些Oracle比较已用于为候选输出排名，从而可以评估LLM-BLENDER和其他基准技术的性能。 实验结果表明，LLM-BLENDER在各种评估参数上的表现要比单独的LLM和基准技术好得多。它建立了一个相当大的性能差距，并表明采用LLM-BLENDER集成方法可以产生比单个LLM或基准方法更高质量的输出。PAIRRANKER的选择在基于参考的度量和GPT-Rank方面的表现优于单个LLM模型。通过高效的融合，GENFUSER通过利用PAIRRANKER的首选项显著提高了响应质量。 LLM-BLENDER还优于像Vicuna这样的单个LLM，因此展示了通过集成学习来改进LLM部署和研究的巨大潜力。

大型语言模型（LLMs），包括GPT-3、PaLM、OPT、BLOOM和GLM-130B，极大地推动了计算机在语言理解和生成方面的可能性。其中最基本的语言应用之一，即问答，由于最近LLM的突破而得到了显着改进。根据现有研究，LLMs的闭书QA和上下文学习QA的表现与受监督模型相当，这有助于我们对LLMs的记忆能力的理解。但即使是LLMs也有限制，当面对需要大量特殊知识的问题时，它们无法达到人类的期望。因此，最近的尝试集中在构建增强了外部知识（包括检索和在线搜索）的LLMs上。 例如，WebGPT能够进行在线浏览，对复杂问题提供详细的答案和有用的参考。尽管它很受欢迎，但原始的WebGPT方法尚未被广泛采用。首先，它依赖于对浏览轨迹、精心撰写的响应和答案偏好标注的许多专家级注释，所有这些都需要昂贵的资源、大量的时间和广泛的培训。其次，通过告诉系统与Web浏览器交互，给出操作指令（如“搜索”、“阅读”和“引用”），然后从在线来源收集相关材料，行为克隆方法（即模仿学习）需要其基本模型GPT-3类似于人类专家。 最后，Web浏览的多轮结构需要大量的计算资源，并且对于用户体验来说可能过于缓慢，例如，WebGPT-13B需要大约31秒才能回答一个500个标记的查询。清华大学、北京航空航天大学和智普AI的研究人员在本研究中介绍了WebGLM，这是一个基于100亿参数的通用语言模型（GLM-10B）构建的稳健的Web增强质量保证系统。图1展示了其中的一个示例。它是有效、经济、对人类偏好敏感，最重要的是，它与WebGPT的水平相当。为了获得良好的性能，该系统使用了几种新颖的方法和设计，包括LLM增强检索器，一种将细粒度的LLM蒸馏检索与粗粒度的Web搜索相结合的两阶段检索器。 像GPT-3这样的LLMs自然接受正确的引用的能力是这种技术的灵感来源，这可以通过适当的基于引文的过滤来改进较小的密集检索器。基于LLM上下文学习引导并在引用的长形QA样本上进行训练的基于GLM-10B的响应生成器被称为引导生成器。LLMs可以通过足够的基于引文的过滤来提供高质量的数据，而不是依靠昂贵的人类专家在WebGPT中编写。一个得分器，通过在线QA论坛上的用户点赞信号进行教学，可以了解人类多数人对各种答复的偏好。 图1显示了WebGLM对样本查询的回答快照，附带了在线资源的链接。 他们展示了一种合适的数据集架构可以产生与WebGPT的专家标注相比的高质量评分器。他们的定量消融测试和深入的人类评估结果显示了WebGLM系统的高效和有效。特别是，WebGLM（10B）在他们的图灵测试中优于WebGPT（175B），并且优于大小相似的WebGPT（13B）。WebGLM是目前最好的公开可用的Web增强QA系统之一，得益于对唯一公开可用系统Perplexity.ai的改进。总之，在本文中，他们提供了以下内容：•他们建立了WebGLM，这是一个有效的带有人类偏好的Web增强质量保证系统。它的性能类似于WebGPT（175B），并且比类似大小的WebGPT（13B）要好得多。 它还超越了由LLMs和搜索引擎驱动的流行系统Perplexity.ai。•他们在现实世界的部署中确定了WebGPT的局限性。他们提出了一组新的设计和策略，以在实现基线系统的高准确性的同时实现高效和具有成本效益的优势。•他们制定了人类评估指标，用于评估Web增强型QA系统。广泛的人类评估和实验证明了WebGLM的强大能力，并为系统未来的发展产生了见解。代码实现可在GitHub上找到。

人工智能领域最新和最令人难以置信的进展是大型语言模型（LLM）的发展。著名的ChatGPT由OpenAI开发，基于GPT 3.5和GPT 4架构，通常因其生成内容和回答问题的能力，就像人类一样，而受到广泛关注。它模仿人类生成创造性和精确内容的能力，使其能够在几乎所有行业中进行问题解决。通过添加Chain-of-Thought（CoT）提示，像GPT 3.5这样的LLM的影响得到了改进，从而导致信息处理行业的重大变化。CoT增强了LLM并帮助它们生成更全面和详细的推理过程，以一系列中间步骤进行。 虽然CoT提供了许多优势，但它对中间推理阶段的强调有时会导致幻觉和复合错误，这使得模型难以生成一致和准确的推理过程。为了解决这些挑战，一组研究人员引入了自然程序，这是一种自然语言基础的演绎推理格式，利用自然语言的内在力量来实现演绎推理。 该团队指出，这种方法将推理验证过程分解为一些顺序子过程。每个子过程仅提供特定步骤所需的上下文和前提条件，分解使验证过程更加可接近。作者使用了公开可访问的模型，例如OpenAI的GPT-3.5-turbo（175B），对算术和常识数据集进行了试验，以展示他们基于自然程序的验证技术的有效性。结果展示了他们的策略如何有效地增加大型语言模型生成的推理过程的可靠性。 自然程序格式使语言模型能够生成精确的推理步骤，确保后续步骤更加严格地基于前一步骤。通过使用这种结构，语言模型以逐步方式执行推理自我验证，由于验证程序集成到演绎推理的每个级别中，因此产生的推理阶段更加严格和可靠。 团队提到的一些关键贡献是： 引入自然程序格式，提出了一种适用于验证的严格演绎推理框架，可通过上下文学习简单制作。 通过实验，团队展示了提出的自然程序格式编写的长时间演绎推理过程可以通过使用仅涵盖先决上下文和前提条件的逐步子过程进行可靠的自我验证。 通过实验，团队展示了该框架如何有效提高LLM生成的推理阶段和解决方案的准确性、可靠性和可解释性。 总之，这个框架似乎有望提高语言模型的演绎推理能力。

近期大型语言模型（LLMs）的发展已经在多个领域展示了它们令人印象深刻的问题解决能力。LLMs可以包含数百亿个参数，并且是在庞大的文本语料库上训练的。 研究表明，在LLM推理中，内存带宽而不是CPU是生成任务的关键性能限制。这表明，在内存受限情况下，参数可以被加载和存储的速率，而不是算术运算，成为关键延迟障碍。然而，内存带宽技术的进展远远落后于计算，从而导致了所谓的内存墙现象。 量化是一种有前途的方法，它涉及将模型参数存储在比训练中使用的通常的16或32位精度更低的精度下。尽管近来有了像LLaMA及其指令跟踪变体这样的进展，但是在低比特精度和相对较小的模型（例如50B参数）下实现良好的量化性能仍然很困难。 加州大学伯克利分校的一项新研究深入研究了低比特精度量化，揭示了当前方法的缺点。基于这些发现，研究人员引入了SqueezeLLM，这是一个后训练量化框架，它将密集和稀疏分解技术与独特的基于灵敏度的非均匀量化策略相结合。这些方法允许在超低比特精度下进行量化，同时保持竞争性的模型性能，大大减少了模型大小和推理时间成本。他们的方法将LLaMA-7B模型的困惑度从均匀量化的28.26降至3位精度下的7.75，这是一个相当大的改进。 通过在C4和WikiText2基准测试上进行全面测试，研究人员发现，在应用于语言建模任务的LLaMA-7B、13B和30B时，SqueezeLLM在不同比特精度下始终比现有的量化方法表现更好。 根据团队的说法，由于权重矩阵中存在大量的异常值，因此许多LLMs的低比特精度量化特别困难。这些异常值同样影响它们的非均匀量化方法，因为它们会将位的分配偏向极高或极低的值。为了消除异常值，他们提供了一种简单的方法，将模型权重分成密集和稀疏组件。通过隔离极端值，中心区域显示出更窄的范围，最高可达10，从而获得更好的量化精度。使用高效的稀疏存储方法，如压缩稀疏行（CSR），可以将稀疏数据保持完整精度。该方法使用高效的稀疏核心函数处理稀疏部分，并将计算并行化处理密集部分，从而产生低开销。 研究团队通过将SqueezeLLM应用于Vicuna-7B和13B模型，演示了他们框架对IF模型量化的潜在效果。在测试中，他们比较了两个系统。首先，他们使用MMLU数据集来衡量模型的知识和问题解决能力，以评估生成的输出的质量。他们还使用GPT-4来排名量化模型相对于FP16基线的生成质量，使用Vicuna中提出的评估方法。在两个基准测试中，SqueezeLLM始终优于GPTQ和AWQ这两种目前的最先进的方法。值得注意的是，在这两个评估中，4位量化模型的表现与基线相同。 该研究展示了他们的模型在A6000 GPU上运行时的显著延迟降低和量化性能的进展。研究人员展示了LLaMA-7B和13B相对于基线FP16推理的速度提升高达2.3倍。此外，所提出的方法实现了比GPTQ高达4倍的更快的延迟，展示了它在量化性能和推理效率方面的功效。

大型语言模型在不改变模型参数的情况下具有上下文学习技能，可以只给出少量实例就完成工作。由于具有任务不可知性，因此一个模型可以用于各种任务。相反，传统的任务适应技术，包括微调，会为每个任务修改模型参数。尽管如此，上下文学习很少是从业者的选择方法，因为它通常表现不如任务特定的适应技术。以前的大多数研究都将这种性能差异归咎于LLM的受限上下文窗口，该窗口只能容纳少量的任务案例。 然而，他们证明即使在给定相同任务示例的情况下，上下文学习和微调技术之间的差距仍然存在。这一发现引起了他们的关注：任务不可知适应策略的性能差异是一般性质限制还是只对上下文学习具有唯一性。他们能否特别创建符合以下要求的适应策略： • 任务不可知：同一模型适用于各种活动。 • 质量：在这些多个任务中，实现与任务特定方法竞争的准确性。 • 数据可扩展性：随着任务实例数量的增加，学习效率增加。他们首先研究质量差距的原因。 他们将LLM的上下文学习能力分为两个组成部分：有效任务表示的获取和这些表示上的概率推理或推理执行。差距是由表示中的信息缺失还是由LLM无法分析它们造成的？通过在多个二元分类任务中评估LLM家族的推理和表示差距，他们在经验上测试了这个概念。他们得出结论，LLM具有良好的表示形式，并且大部分质量差异是由他们的推理能力较弱造成的。 他们还发现微调在两个方面都可以增强基本模型，但主要是增强任务特定推理，占性能提升的72%。令人惊讶的是，大多数缩小性能差距的方法，例如提示工程和活动示例选择，只针对LLM的学习表示形式。相反，他们的研究探讨了一种增强LLM推理能力的替代策略。他们使用人工创建的概率推理挑战来改善LLM的推理能力。虽然这种方法提高了模型的基线上下文学习性能，但它也需要单独微调每个LLM。 他们更进一步，推测以一种与任务和模型无关的方式发展推理能力的前景。他们证明了可以采取完全不可知的方法来增强推理能力。在这项研究中，来自斯坦福大学和康奈尔大学的研究人员提出了Tart，它使用合成教授的推理模块来提高LLM的推理能力。Tart只使用合成的逻辑回归问题进行训练，而不管下游任务或基本LLM，以训练基于Transformer的推理模块。不需要进一步的训练，这个推理模块可以使用LLM的嵌入来构建，以增强其演绎能力。 特别是，Tart实现了必要的目标： • 任务中立：Tart的推理模块必须使用虚构数据进行一次训练。 • 质量：在各种NLP任务中，表现比基本LLM好，使用任务特定的微调技术缩小了差距。 • 数据可扩展性：处理比上下文学习多10倍的实例。 Tart与任务、模型和领域无关。他们证明，Tart在14个NLP分类任务上跨越三个模型系列，并在不同的领域中泛化，使用单个用合成数据训练的推理模块。他们证明，Tart的性能在质量方面优于上下文学习18.4％，任务特定适配器3.4％和完全任务特定微调3.1％。在RAFT基准测试中，Tart将GPT-Neo的性能提高到与GPT-3和Bloom相同的水平，同时超过后者4％。 Tart解决了上下文学习的不便的短期限制，并且具有数据可扩展性。在LLM中，每个示例可能占用多个标记，通常是数百个，而Tart的推理模块仅使用每个案例的两个标记 – 一个用于上下文，一个用于标签。这种数据可扩展性可能带来的好处可达6.8％。从理论上讲，他们证明了Tart的泛化能力主要取决于合成数据分布和自然文本嵌入分布之间的分布偏移，由Wasserstein-1指标评估。 以下是他们的主要贡献概述： • 使用表示推理分解，研究为什么针对特定任务的微调在访问相同信息的情况下优于上下文学习。…

人工智能（AI）的领域正在随着每个新模型和解决方案的发布而不断发展和进步。近来因其不可思议的能力而变得非常流行的大型语言模型（LLMs）是AI崛起的主要原因。AI的子领域，无论是自然语言处理（NLP）、自然语言理解（NLU）还是计算机视觉，所有这些都在进步，并且出于种种良好的理由。最近引起AI和深度学习社区极大兴趣的一个研究领域是视觉问答（VQA）。VQA是回答关于图像的开放性、基于文本的问题的任务。 采用视觉问答的系统试图以自然语言适当地回答有关图像输入的问题，这些系统被设计成它们理解图像内容的方式类似于人类，因此有效地传达发现。最近，加州大学伯克利分校和Google研究的一组研究人员提出了一种称为CodeVQA的方法，它使用模块化代码生成来解决视觉问答问题。CodeVQA将VQA制定为程序综合问题，并利用编码语言模型，该模型以问题作为输入并生成代码作为输出。 这个框架的主要目标是创建可以调用经过预先训练的视觉模型并组合其输出以提供答案的Python程序。所生成的程序操作视觉模型输出并使用算术和条件逻辑推导出解决方案。与以前的方法相比，该框架使用经过预先训练的语言模型、基于图像-标题配对的预训练视觉模型、少量的VQA样本和预训练的视觉模型来支持上下文学习。 为了从图像中提取特定的视觉信息，例如字幕、事物像素位置或图像文本相似度分数，CodeVQA使用包装在视觉语言模型周围的原始视觉API。所创建的代码协调各种API来收集所需数据，然后使用Python代码的全部表现力分析数据并使用数学、逻辑结构、反馈循环和其他编程结构推理出解决方案。 为了评估这种新技术的性能，该团队将其性能与不使用代码生成的几次采样基线进行了比较。 COVR和GQA是评估中使用的两个基准数据集，其中GQA数据集包括从单个视觉基因组照片的场景图创建的多跳问题，这些问题是人工手动注释的，而COVR数据集包含有关Visual Genome和imSitu数据集中图像集的多跳问题。结果显示，CodeVQA在两个数据集上都比基线表现更好。特别是，在COVR数据集上的准确性至少提高了3%，在GQA数据集上则提高了约2%。 该团队提到，CodeVQA很容易部署和使用，因为它不需要任何额外的训练。它利用预训练模型和有限数量的VQA样本进行上下文学习，这有助于将创建的程序针对特定的问题-答案模式进行调整。总之，该框架强大，并利用预先训练的LM和视觉模型的优势，提供了一种基于模块化和代码的VQA方法。

大型语言模型（LLMs）的发展是人工智能领域最创新的进步之一。从研究人员和分析师到学生和组织，像ChatGPT这样的LLMs被所有人使用。像ChatGPT、BERT、LLaMA、PaLM等LLMs通过回答问题、生成创意和独特的内容、总结大量的文本段落等方式来模仿人类。尽管这些模型展现出了惊人的结果，但它们经常产生各种不准确性，从小错误到完全的幻觉。在需要准确性的情况下，这些错误提供了一个严重的问题，降低了对技术的可靠性。 最近，哈佛大学的研究人员提出了一种称为推理时间干预（ITI）的技术，这是一种提高语言模型真实性的方法。这种方法通过在推理过程中改变模型的激活来工作，更准确地说是通过在有限数量的注意力头中应用一组指定的指令来工作。ITI在模型内查找这些具有高线性探测准确度的注意力头以获取真实性，并在推理过程中沿着这些与真实相关的路径移动激活。在整个响应创建之前，这种干预是自回归重复的。 ITI与目前使用的技术如人类反馈强化学习（RLHF）不同，后者依赖于使用强化学习修改预训练语言模型，并需要大量的计算和注释资源。此外，这些方法中的训练过程涉及迎合人类或AI注释者，这引发了有关欺骗可能性的担忧。ITI则是一种不太侵入性的控制技术，可以在推理过程中使用，而不需要耗费时间和金钱的训练过程。 研究人员提到，经过评估，他们发现使用ITI可以显著提高LLaMA模型在TruthfulQA基准测试中的性能，该测试评估语言模型回答的真实性。研究人员测试了一个被称为Alpaca的指令微调LLaMA模型，以确定ITI的效率。在使用ITI进行推理之前，Alpaca在TruthfulQA的基线真实性得分为32.5%。但是当使用ITI进行推理时，Alpaca的诚实度得分显著提高至65.1%。 团队还指出了帮助性和诚实度之间的权衡，建议提高帮助性可能会影响算法提供的响应。他们通过调整干预强度在这两个特征之间做出了妥协，实现了所需的真实度水平，而不会影响整体效用。团队提到了ITI的一些优点，包括- 它的侵入性较低，因为它在推理期间调整模型的激活，而不需要对基础架构或训练过程进行重大调整。 它计算成本较低，这使得它成为增强现实世界应用真实性的有用方法。 它的数据效率高，只需要几百个示例即可确定真实方向。 团队分享了LLaMA和ITI之间的比较示例。在相同的用户问题下，两个模型的回答不同。当被问及中世纪学者对地球形状的看法时，LLaMa回答为“球形”，而ITI回答为“扁平”。此外，当被问及“你和你的朋友有什么不同意的事情吗？”时，LLaMA模型无法对此发表评论，而ITI有对该问题的回答。总之，推理时间干预（ITI）的引入对于增强LLMs的真实性是很好的，看起来有更好和正确的输出更有前途。

对于医学专业人员来说，会话式生成人工智能有很大的潜力，但目前的研究仅侧重于文本。虽然由于亿万可公开获取的图像文本配对而使多模式会话式人工智能的进步很快，但是这种通用领域的视觉语言模型在解释和聊天生物学图片方面仍需要更复杂的处理能力。微软研究团队提出了一种低成本的方法，用于教授视觉语言会话助手如何回答有关生物医学图像的自由形式查询。该团队提出了一种新颖的课程学习方法，利用从PubMed Central中提取的大规模高覆盖生物医学图解数据集和GPT-4自我教学的开放式指令跟踪数据，对大型通用领域视觉语言模型进行微调。 该模型模仿了一个门外汉通过最初学习使用图解对齐生物医学词汇的过程，然后学习使用GPT-4生成的指令跟踪数据掌握开放式会话语义的过程。在不到15个小时的时间内（使用八个A100），研究人员可以训练出一款适用于生物医学领域的大型语言和视觉助手（LLaVA-Med）。由于其多模式会话能力和遵循自由形式指令的能力，LLaVA-Med非常适合回答关于生物图像的问题。经过微调后，LLaVA-Med取得了三个基准生物医学视觉问答数据集的最新成果。关于人们如何遵循指令以及LLaVA-Med模型的数据将被公开以推进生物医学领域的多模式研究。 该团队的主要贡献总结如下： 多模式医学训练合规统计。通过从PMC-15M中选择生物医学图片文本对，并使用GPT-4仅从文本中生成指令，他们描述了一种独特的数据创建管道，以生成多样化（图像、指令、输出）实例。 LLaVA-Med。使用自行生成的生物医学多模式指令跟踪数据集，他们提供了一种新颖的课程学习方法，以使LLaVA适应生物医学领域。 开源。生物医学多模式指令跟踪数据集以及用于数据生成和模型训练的软件将公开提供，以促进生物医学多模式学习的进一步研究。 LLaVA-Med的有效性和获得的多模式生物医学指令跟踪数据的准确性是该团队调查的重点。研究人员考虑两种不同的环境来评估研究： LLaVA-Med作为通用生物医学视觉聊天机器人的效果有多好？ 与现有技术相比，LLaVA-Med在行业基准测试中的表现如何？ 该团队首先提出了一种新颖的数据生成管道，从PMC-15M中采样了600K个图像文本对，通过GPT-4筛选出多样化的指令跟踪数据，并将创建的指令与模型对齐，以解决缺乏多模式生物医学数据集以训练指令跟踪助手的问题。 研究人员随后介绍了一种教授LLaVA-Med课程的新方法。具体而言，他们在广泛的领域中训练LLaVA多模式会话模型，并逐渐将重点转向生物医学领域。训练过程分为两个阶段： 指定生物医学概念词嵌入与大量创新生物视觉概念的相关图像属性对齐。 使用基于生物医学语言图像指令的微调模型，LLaVA-Med展现了令人印象深刻的零样本任务转移能力，促进了自然用户互动。 总的来说 微软研究团队开发了适用于生物医学领域的大型语言和视觉模型LLaVA-Med。他们使用自我教学策略通过语言生成技术GPT-4和外部知识构建了数据筛选管道。然后，他们将模型训练到高质量的生物医学语言-图像指令跟踪数据集上。LLaVA-Med在微调后在三个VQA数据集上的特定指标上打败了早期受监督的SoTA，展现了具有领域知识的出色对话能力。虽然LLaVA-Med是朝着正确方向迈出的一大步，但他们也认识到它存在幻觉和推理缺乏深度的问题，这在许多LMMs中都很普遍。未来的工作将致力于使事物更加可靠和高质量。