Category: 机器学习

微软研究人员推出了一个名为ZeRO++的新系统，该系统已经被开发用于优化大型AI模型的训练，解决了高数据传输开销和带宽有限的挑战。ZeRO++在现有的ZeRO优化基础上进行了扩展，提供了增强的通信策略，以提高训练效率，缩短训练时间和降低训练成本。 如Turing-NLG、ChatGPT和GPT-4等大型模型的训练需要跨多个GPU设备使用大量存储器和计算资源。DeepSpeed开发的ZeRO++引入了通信优化策略，以克服在每个GPU上使用小批量大小或在低带宽集群上训练时ZeRO的局限性。 ZeRO优化的家族，包括ZeRO-Inference，使模型状态在GPU之间进行分区，而不是复制，利用集体GPU内存和计算能力。然而，在训练过程中，ZeRO可能会产生高通信开销。ZeRO++通过融合三组通信优化解决了这个问题：量化权重通信（qwZ）、分层权重分区（hpZ）和量化梯度通信（qgZ）。 为了减少参数通信量，ZeRO++对权重进行了量化，利用基于块的量化来保留训练精度。这个优化的量化过程比基本的量化更快，更准确。为了在反向传播期间最小化通信开销，ZeRO++通过在每台机器内维护一个完整的模型副本来以GPU内存为代价进行通信。对于梯度通信，ZeRO++引入了一种新颖的量化梯度通信范式qgZ，以减少跨节点的流量和延迟。 这些通信优化导致通信量的大幅度减少。与ZeRO相比，ZeRO++实现了高达4倍的减少，提高了训练吞吐量和效率。当每个GPU使用小批量大小时，在高带宽集群中，ZeRO++比ZeRO-3提高了28%至36%的吞吐量。在低带宽集群中，ZeRO++与ZeRO-3相比实现了平均2倍的加速，使大型模型训练更加普及。 ZeRO++不仅限于训练场景，还扩展到使用人类反馈（RLHF）训练的对话模型中的强化学习。通过将ZeRO++与DeepSpeed-Chat集成，可以使RLHF训练受益于改进的生成和训练阶段，实现比ZeRO更高达2.25倍的更好的生成吞吐量和1.26倍的更好的训练吞吐量。 DeepSpeed发布了ZeRO++，以使大型模型训练更加高效和适用于AI社区。该系统旨在加速训练，减少通信开销并实现更大的批量大小，从而节省时间和资源。研究人员和实践者可以利用ZeRO++更有效地训练像ChatGPT这样的模型，并探索AI中的新可能性。

大型语言模型（LLMs）是人工智能（AI）领域的一项重大突破性进展。这些模型（例如 GPT-3）彻底改变了自然语言理解。由于这些模型具有解释大量现有数据和生成类似人类的文本的能力，因此这些模型具有巨大的潜力，可以塑造人机交互和通信的未来并开启新的可能性。然而，尽管 LLMs 取得了巨大的成功，但与此类模型通常相关的一个显著挑战是它们的计算效率低下，即使在最强大的硬件上也会导致性能缓慢。由于这些模型包含数百万乃至数十亿个参数，因此训练此类模型需要广泛的计算资源，内存和处理能力，并非总是可用。此外，这些具有缓慢响应时间的复杂体系结构可能使 LLMs 无法实用于实时或交互式应用程序。因此，解决这些挑战变得至关重要，以释放 LLMs 的全部潜力并使其好处更广泛地可用。 针对这个问题陈述，加州大学伯克利分校的研究人员开发了 vLLM，这是一个开源库，是 LLM 推理和服务的一个更简单，更快速，更便宜的替代方案。目前，大型模型系统组织（LMSYS）正在使用该库来驱动其Vicuna和 Chatbot Arena。通过切换到 vLLM 作为其后端，与最初基于 HuggingFace 转换器的后端相比，研究组织已成功高效地处理峰值流量（比以前多 5 倍），同时使用有限的计算资源并降低高运营成本。目前，vLLM 支持几个 HuggingFace 模型，如 GPT-2，GPT BigCode…

大型语言模型在各种任务中表现出了卓越的性能。从生产独特且有创意的内容和提出问题答案，到翻译语言和概括文本段落，LLM在模拟人类方面非常成功。一些知名的LLM，如GPT、BERT和PaLM，因准确遵循指令和访问大量高质量数据而成为头条新闻。像GPT4和PaLM这样的模型不是开源的，这阻止了任何人了解其架构和训练数据。另一方面，像Pythia、LLaMA和Flan-T5这样的开源LLM提供了一个机会，让研究人员在自定义指令数据集上微调和改进模型。这使得像Alpaca、Vicuna、OpenAssistant和MPT这样的更小更高效的LLM得以开发。 市场上没有一个单一的开源LLM处于领先地位，而不同例子的最佳LLM可能会有很大的差异。因此，为了不断为每个输入产生改进的答案，动态整合这些LLM是必要的。通过整合各种LLM的独特贡献，可以减少偏见、误差和不确定性，从而产生更符合人类偏好的结果。为了解决这个问题，来自艾伦人工智能研究所、南加州大学和浙江大学的研究人员提出了LLM-BLENDER，这是一个集成框架，通过利用多个开源大型语言模型的许多优势，始终获得卓越的性能。 LLM-BLENDER由两个模块组成——PAIRRANKER和GENFUSER。这些模块表明，不同例子的最佳LLM可能会有很大的差异。第一个模块PAIRRANKER被开发出来，用于识别潜在输出之间微小的变化。它使用先进的成对比较技术，其中原始文本和来自各种LLM的两个候选输出作为输入。为了共同编码输入和候选对，它利用交叉注意力编码器，如RoBERTa，PAIRRANKER可以使用这种编码来确定两个候选的质量。 第二个模块GENFUSER专注于合并排名靠前的候选项以生成更好的输出。它最大程度地利用所选候选项的优点，同时最小化它们的缺点。GENFUSER旨在通过合并各种LLM的输出来开发优于任何一个LLM的输出。 为了评估，团队提供了一个称为MixInstruct的基准数据集，它结合了Oracle成对比较和各种指令数据集。该数据集使用11个流行的开源LLM为各种遵循指令的任务生成多个输入的候选项。它包括训练、验证和测试示例，具有自动评估的Oracle比较。这些Oracle比较已用于为候选输出排名，从而可以评估LLM-BLENDER和其他基准技术的性能。 实验结果表明，LLM-BLENDER在各种评估参数上的表现要比单独的LLM和基准技术好得多。它建立了一个相当大的性能差距，并表明采用LLM-BLENDER集成方法可以产生比单个LLM或基准方法更高质量的输出。PAIRRANKER的选择在基于参考的度量和GPT-Rank方面的表现优于单个LLM模型。通过高效的融合，GENFUSER通过利用PAIRRANKER的首选项显著提高了响应质量。 LLM-BLENDER还优于像Vicuna这样的单个LLM，因此展示了通过集成学习来改进LLM部署和研究的巨大潜力。

大型语言模型（LLMs），包括GPT-3、PaLM、OPT、BLOOM和GLM-130B，极大地推动了计算机在语言理解和生成方面的可能性。其中最基本的语言应用之一，即问答，由于最近LLM的突破而得到了显着改进。根据现有研究，LLMs的闭书QA和上下文学习QA的表现与受监督模型相当，这有助于我们对LLMs的记忆能力的理解。但即使是LLMs也有限制，当面对需要大量特殊知识的问题时，它们无法达到人类的期望。因此，最近的尝试集中在构建增强了外部知识（包括检索和在线搜索）的LLMs上。 例如，WebGPT能够进行在线浏览，对复杂问题提供详细的答案和有用的参考。尽管它很受欢迎，但原始的WebGPT方法尚未被广泛采用。首先，它依赖于对浏览轨迹、精心撰写的响应和答案偏好标注的许多专家级注释，所有这些都需要昂贵的资源、大量的时间和广泛的培训。其次，通过告诉系统与Web浏览器交互，给出操作指令（如“搜索”、“阅读”和“引用”），然后从在线来源收集相关材料，行为克隆方法（即模仿学习）需要其基本模型GPT-3类似于人类专家。 最后，Web浏览的多轮结构需要大量的计算资源，并且对于用户体验来说可能过于缓慢，例如，WebGPT-13B需要大约31秒才能回答一个500个标记的查询。清华大学、北京航空航天大学和智普AI的研究人员在本研究中介绍了WebGLM，这是一个基于100亿参数的通用语言模型（GLM-10B）构建的稳健的Web增强质量保证系统。图1展示了其中的一个示例。它是有效、经济、对人类偏好敏感，最重要的是，它与WebGPT的水平相当。为了获得良好的性能，该系统使用了几种新颖的方法和设计，包括LLM增强检索器，一种将细粒度的LLM蒸馏检索与粗粒度的Web搜索相结合的两阶段检索器。 像GPT-3这样的LLMs自然接受正确的引用的能力是这种技术的灵感来源，这可以通过适当的基于引文的过滤来改进较小的密集检索器。基于LLM上下文学习引导并在引用的长形QA样本上进行训练的基于GLM-10B的响应生成器被称为引导生成器。LLMs可以通过足够的基于引文的过滤来提供高质量的数据，而不是依靠昂贵的人类专家在WebGPT中编写。一个得分器，通过在线QA论坛上的用户点赞信号进行教学，可以了解人类多数人对各种答复的偏好。 图1显示了WebGLM对样本查询的回答快照，附带了在线资源的链接。 他们展示了一种合适的数据集架构可以产生与WebGPT的专家标注相比的高质量评分器。他们的定量消融测试和深入的人类评估结果显示了WebGLM系统的高效和有效。特别是，WebGLM（10B）在他们的图灵测试中优于WebGPT（175B），并且优于大小相似的WebGPT（13B）。WebGLM是目前最好的公开可用的Web增强QA系统之一，得益于对唯一公开可用系统Perplexity.ai的改进。总之，在本文中，他们提供了以下内容：•他们建立了WebGLM，这是一个有效的带有人类偏好的Web增强质量保证系统。它的性能类似于WebGPT（175B），并且比类似大小的WebGPT（13B）要好得多。 它还超越了由LLMs和搜索引擎驱动的流行系统Perplexity.ai。•他们在现实世界的部署中确定了WebGPT的局限性。他们提出了一组新的设计和策略，以在实现基线系统的高准确性的同时实现高效和具有成本效益的优势。•他们制定了人类评估指标，用于评估Web增强型QA系统。广泛的人类评估和实验证明了WebGLM的强大能力，并为系统未来的发展产生了见解。代码实现可在GitHub上找到。

人工智能领域最新和最令人难以置信的进展是大型语言模型（LLM）的发展。著名的ChatGPT由OpenAI开发，基于GPT 3.5和GPT 4架构，通常因其生成内容和回答问题的能力，就像人类一样，而受到广泛关注。它模仿人类生成创造性和精确内容的能力，使其能够在几乎所有行业中进行问题解决。通过添加Chain-of-Thought（CoT）提示，像GPT 3.5这样的LLM的影响得到了改进，从而导致信息处理行业的重大变化。CoT增强了LLM并帮助它们生成更全面和详细的推理过程，以一系列中间步骤进行。 虽然CoT提供了许多优势，但它对中间推理阶段的强调有时会导致幻觉和复合错误，这使得模型难以生成一致和准确的推理过程。为了解决这些挑战，一组研究人员引入了自然程序，这是一种自然语言基础的演绎推理格式，利用自然语言的内在力量来实现演绎推理。 该团队指出，这种方法将推理验证过程分解为一些顺序子过程。每个子过程仅提供特定步骤所需的上下文和前提条件，分解使验证过程更加可接近。作者使用了公开可访问的模型，例如OpenAI的GPT-3.5-turbo（175B），对算术和常识数据集进行了试验，以展示他们基于自然程序的验证技术的有效性。结果展示了他们的策略如何有效地增加大型语言模型生成的推理过程的可靠性。 自然程序格式使语言模型能够生成精确的推理步骤，确保后续步骤更加严格地基于前一步骤。通过使用这种结构，语言模型以逐步方式执行推理自我验证，由于验证程序集成到演绎推理的每个级别中，因此产生的推理阶段更加严格和可靠。 团队提到的一些关键贡献是： 引入自然程序格式，提出了一种适用于验证的严格演绎推理框架，可通过上下文学习简单制作。 通过实验，团队展示了提出的自然程序格式编写的长时间演绎推理过程可以通过使用仅涵盖先决上下文和前提条件的逐步子过程进行可靠的自我验证。 通过实验，团队展示了该框架如何有效提高LLM生成的推理阶段和解决方案的准确性、可靠性和可解释性。 总之，这个框架似乎有望提高语言模型的演绎推理能力。