Press "Enter" to skip to content

Tag: Language Model

谷歌AI提出PixelLLM:一种能够进行细粒度定位和视觉语言对齐的视觉语言模型

大型语言模型(LLMs)成功利用了人工智能(AI)的子领域,包括自然语言处理(NLP),自然语言生成(NLG)和计算机视觉。借助LLMs,我们能够创建能够复杂推理关于图像的视觉语言模型,回答与图像相关的问题,并用自然语言描述图像。然而,LLMs是否能够执行词定位或定位引用等定位任务仍然不确定。 为了克服这个挑战,谷歌研究和UC圣地亚哥的研究人员团队引入了一种智能模型称为PixelLLM,可以实现精细的定位和视觉语言对齐。这种方法受到了人们自然行为的启发,尤其是婴儿用手势、指点和命名来描述他们的视觉环境。团队表示,目标是找出LLMs如何从视觉输入中获得空间理解和推理。 PixelLLM将语言模型的每个单词输出密集对准到像素位置上。为此,添加了一个微小的多层感知机(MLP),它能够对每个单词的像素位置进行回归。使用了低秩微调(LoRA),允许更新或冻结语言模型的权重。该模型还可以接收文本或位置提示,使其能够提供符合提示的输出。 该模型的架构包括图像编码器、提示编码器和提示特征提取器。大语言模型接受提示条件下的图片特征和可选的文本提示作为输入,并输出每个单词的定位和标题。该架构能够接受多样的语言或位置组合作为输入或输出,适应各种视觉语言活动。 团队使用诸如密集物体字幕、位置条件字幕和引用定位等众所周知的视觉任务评估了该模型。PixelLLM在各种挑战中展现出卓越的性能指标,包括RefCOCO引用定位上的89.8 P@0.5,Visual Genome条件化字幕上的19.9 CIDEr以及密集物体字幕上的17.0 mAP。密集的像素定位公式非常重要,这在对RefCOCO进行的消融实验中得到了证明,相对于其他的定位公式,它取得了3.7个百分点的提升。因此,PixelLLM在实现精准的视觉语言对齐和定位方面取得了成功。 团队总结了他们的主要贡献如下: 引入了一个名为PixelLLM的新的视觉语言模型,可以生成单词定位和图片标题。 该模型支持文本或可选的位置提示,除图片输入外。 使用了定位的叙述数据集进行每个单词定位的训练。 该模型能够适应各种视觉语言任务,包括分割、位置条件字幕、引用定位和密集字幕。 该模型在位置条件字幕、密集字幕、引用定位和分割方面展现出卓越的结果。

Leave a Comment

全球通用模型:Runway AI研究启动新的长期研究工作

“`html 世界模型是一种旨在构建对环境的内部了解并利用这些知识来预测该空间内未来事件的人工智能系统。研究人员主要在受控环境中测试这些世界模型,如视频游戏或特定任务,例如驾驶。最终目标是雄心勃勃的 – 创建可以处理遇到的各种情况的模型,这些情况在不可预测的现实世界中发生。 早期尝试创建这种系统的一个例子是Gen-2视频生成系统。它就像一个初入行的艺术家,试图制作展示基本物体运动理解的短视频。然而,它在更复杂的任务中有困难,对于涉及快速相机移动或复杂物体行为的情景挣扎不已。这揭示了当前世界模型的局限性,促使研究人员深入研究和改进这些系统。 构建有效的世界模型之路面临着几个挑战。一个关键方面是这些模型需要生成准确一致的环境地图。它不仅仅是识别运动,还要在给定空间内进行导航和互动。此外,这些模型不仅必须理解世界的动态,还必须理解和模拟其居民的行为,包括真实的人类行为。这个多方面的挑战需要不断的研究和创新。 研究人员正在积极努力克服这些挑战,致力于增强世界模型的适应性和能力。就像升级视频游戏中的角色一样 – 这些模型需要在生成可靠的地图和在不同复杂情景中进行导航时进行升级。目标是使它们具备处理现实世界的不可预测性的能力。 为了衡量这些世界模型的有效性,研究人员采用了一些度量标准。这些度量标准衡量了模型生成一致准确地图的能力,其在不同环境中导航的熟练程度以及其对人类行为的逼真模拟。这些可量化的测量方法作为基准,让研究人员评估这些不断发展的世界模型的进展和能力。 总之,开发通用世界模型是一个充满挑战和令人兴奋前景的持续过程。随着研究人员不断完善这些模型,承诺在各种现实情景中进行更好的模拟和预测。这些模型的演变不仅推动了人工智能能力的界限,还有可能深入理解复杂环境并改进人工智能与我们的动态世界的互动。 The post General World Models: Runway AI Research Starting a New Long-Term Research Effort…

Leave a Comment

这篇人工智能论文调查了大型语言模型(LLMs)在医学中的作用:它们面临的挑战、原则和应用

自然语言处理(NLP)在过去几个月里取得了长足的进步,尤其是引入了大型语言模型(LLM)。像GPT、PaLM、LLaMA等模型由于其在文本生成、摘要生成和问题回答等多种NLP任务方面的能力,已经获得了很大的流行度。研究人员一直致力于将LLM的力量用于医疗领域。 医疗LLM包括ChatDoctor、MedAlpaca、PMC-LLaMA、BenTsao、MedPaLM和Clinical Camel,用于改善患者护理和支持医疗从业人员。尽管当前的医疗LLM已经显示出良好的结果,但仍然存在一些需要解决的挑战。许多模型忽视了类似对话和问答等临床环境中的生物医学NLP任务的实际价值。医疗LLM在诸如电子病历(EHR)、出院小结生成、健康教育和护理计划等临床情景中的潜力已成为最近努力的研究课题;然而,这些模型经常缺乏共同的评估数据集。 另一个缺点是目前使用的大多数医疗LLMs仅根据其回答医疗问题的能力来评估候选人,忽视了其他重要的生物医学任务,如信息检索、文本生成、关系抽取和文本摘要。为了克服这些问题,一组研究人员在探索医疗LLM的不同方面时进行了一项研究,回答了以下五个主要问题。 创建医疗LLMs:第一个问题旨在调查创建医疗LLMs的方法和因素。这包括理解创建这些模型背后的思想,以及它们的结构、训练集和其他相关要素。 评估医疗LLMs在下游任务中的表现:第二个问题集中于评估医疗LLMs在实际情况下的实际结果或表现。这包括评估这些模型在真实世界情况下的表现,特别是在临床医学相关任务方面。 在实际临床实践中使用医疗LLMs:第三个问题探讨了医疗LLMs在临床环境中的实际使用情况。这包括调查如何将这些模型纳入医疗从业人员的常规工作流程中,以改善沟通、决策和患者护理。 应用医疗LLMs带来的问题:第四个问题认识到使用医疗LLMs存在障碍,就像使用任何其他技术一样。为了在医疗环境中负责任地和成功地实施这些模型,可能需要解决一些障碍,包括道德问题、模型中的潜在偏见和可解释性问题。 成功构建和应用医疗LLMs:最后一个问题询问未来,以阐明改进医疗LLMs的设计和应用,以确保医疗LLMs继续成为医疗行业中有用的工具。 总之,本调查广泛分析了医疗领域中的LLMs。它总结了从10种不同的生物医学活动中获得的评估,并详细概述了它们的应用。通过解决关键问题,该研究旨在提供对医疗LLMs的全面了解,鼓励更深入的分析、团队合作和医疗AI领域的更快发展。

Leave a Comment

这篇AI论文介绍了Perseus:一种开创性的框架,可将大规模机器学习和AI模型训练的能源浪费降低多达30%

大型语言模型(例如 GPT-3)由于在训练和推理过程中的计算需求而需要大量能量。能源使用情况根据模型的大小、任务复杂性、硬件规格和操作持续时间等因素而存在显著差异。 训练这些模型需要大量的计算资源,通常涉及高性能 GPU 或 TPU,导致长时间的大量能量消耗。估计训练像 GPT-3 这样的大型语言模型可能使用相当于多个家庭在几天或几周内消耗的电量。 优化能源消耗至关重要,且需要在不降低模型效率的情况下进行。研究人员旨在减少大语言模型训练中没有吞吐量损失可以消除的能量消耗。分布式执行规划中,每个流水线阶段的计算量是一个重要问题。由于深度神经网络(DNN)是粗粒度的张量运算,计算量各不相同,因此平衡每个阶段是不可能的。 密歇根大学和华盛顿大学的研究人员发现,在训练过程中,并非所有能量消耗都直接对整体训练吞吐量有贡献,可以大幅减少能量消耗而不会减缓训练速度。他们发现能量膨胀的内在和外在原因,并提出了一个名为“Perseus”的单一优化框架来最小化它们。 内在能量膨胀的原因是计算不平衡,而外在能量膨胀是多个流水线并行运行,同步扩展到庞大的数据集进行训练。快于行动迟钝算法的流水线是快速的,浪费了不会影响整体训练吞吐量的能量。 Perseus以高效的方式预先表征整个迭代时间的能量,在正常操作条件下最小化内在能量膨胀。通过次优能量减少,它减轻了外在能量膨胀。它通过精确地减慢流水线中的计算来寻找非阻塞流水线的能量最优迭代时间。 研究人员在各种强扩展配置中使用混合并行性来模拟训练大型模型的迟行者。他们测量了能量膨胀的数量和Perseus的外在能量节省。在计算完成后,其他非迟行者等待迟行者完成计算,导致外在能量膨胀。他们减少了微批次的数量和每个流水线迭代的开头和结尾的流水线气泡比例。这消除了内在能量膨胀,从而减少了能量消耗。 将Perseus集成到训练工作流程中对人工智能发展的未来具有重要影响。他们的工作有潜力极大地增强LLM和GenAI的分布式训练的可持续性。

Leave a Comment

微软人工智能团队推出Phi-2:一个具有杰出推理和语言理解能力的2.7B参数小语言模型

语言模型的发展一直以来都是在大模型能够拥有更高性能的前提下进行的。然而,打破这一既定信念,微软研究院的机器学习基础团队的研究人员推出了参数为27亿的全新语言模型Phi-2,这一模型正颠覆着长期主导这一领域的传统扩展规则,挑战了“模型大小决定语言处理能力”的普遍观念。 这项研究打破了关于超卓性能必须依赖更大模型的普遍假设。研究人员将Phi-2引入视为范式转变,超越常规。文章揭示了Phi-2的独特特点以及其开发中采用的创新方法。Phi-2摒弃常规方法,依赖精心策划的高质量训练数据,并利用较小模型的知识传递,对语言模型扩展的既定规则构成了巨大挑战。 Phi-2方法的核心在于两项关键性发现。首先,研究人员强调了训练数据质量的重要作用,使用“教科书级”数据精心设计,使模型获得推理、知识和常识的能力。其次,采用创新技术实现了模型洞察力的高效扩展,从13亿参数的Phi-1.5开始。文章深入探讨了Phi-2的架构,这是一个基于Transformer的模型,以下一个单词预测为目标,在合成和网络数据集上进行训练。令人惊讶的是,尽管规模较小,Phi-2在各种基准测试中超越了更大的模型,突显了其高效性和出色能力。 总之,来自微软研究院的研究人员将Phi-2推崇为语言模型发展中的一股变革力量。这一模型不仅挑战了,而且成功推翻了业界对模型能力与大小本质相关的长期信念。这种范式转变鼓励了新的视角和研究方向,强调了不完全遵循常规扩展规则时所能实现的高效性。Phi-2独特的高质量训练数据和创新的扩展技术,标志着自然语言处理迈向前沿,并为未来带来了新的可能性和更安全的语言模型。 本文首发于Microsoft AI团队推出Phi-2:一个参数为27亿的小型语言模型,展示出卓越的推理和语言理解能力,转载请注明出处。

Leave a Comment

CMU研究人员揭示了RoboTool:一种能够接受自然语言指令并输出可用于控制模拟和真实环境中机器人的可执行代码的AI系统

来自卡内基梅隆大学和Google DeepMind的研究人员合作开发了RoboTool,这是一个利用大型语言模型(LLM)的系统,赋予机器人在涉及隐性物理约束和长期规划的任务中创造性地使用工具的能力。该系统包括四个关键组成部分: 用于解释自然语言的分析器 用于生成策略的规划器 用于计算参数的计算器 用于将计划转化为可执行的Python代码的编码器 使用GPT-4,RoboTool旨在为复杂的机器人任务提供比传统的任务与动作规划方法更灵活、高效和用户友好的解决方案。 该研究解决了机器人创造性使用工具的挑战,类似于动物在使用工具方面展示智能的方式。它强调机器人不仅要为其预定目的使用工具,还要以创造性和非常规的方式使用工具,以提供灵活的解决方案。传统的任务与动作规划(TAMP)方法需要在处理具有隐性约束的任务时进行修订,并且往往计算代价高昂。大型语言模型(LLM)在编码有益于机器人任务的知识方面显示出潜力。 该研究引入了一个用于评估创造性工具使用能力的基准,包括工具选择、顺序工具使用和制造。所提出的RoboTool在模拟和真实环境中进行评估,展示了在没有创造性工具使用的情况下将会具有挑战性的任务处理能力。该系统的成功率超过了基准方法,展示了其在解决具有隐性约束的复杂、长期规划任务方面的效果。 通过计算3种类型的错误进行评估: 工具使用错误,指示是否使用了正确的工具 逻辑错误,关注规划错误,如按错误的顺序使用工具或忽略提供的约束 数值错误,包括计算错误的目标位置或添加错误的偏移量 没有分析器的RoboTool显示出使用分析器的工具使用错误较大,没有计算器的RoboTool在与RoboTool相比的情况下有较大的数值错误,展示了它们在模型中的作用。 该研究展示了RoboTool在各种任务中的成就,例如在沙发之间穿越间隙、到达放置在机器人工作区域外的物体以及创造性地使用工具超出其传统功能。该系统利用LLMs对对象属性和人类常识的知识来识别关键概念和推理三维物理世界。在与机械臂和四足机器人的实验中,RoboTool展示了创造性的工具使用行为,包括即兴创作、顺序工具使用和工具制造。尽管在模拟中实现了与或超过基准方法相当的成功率,但其在真实环境中的表现受到感知错误和执行错误的轻微影响。 总之,由LLMs驱动的RoboTool是一个具有创造性的机器人工具用户,能够解决长期规划问题并具有隐性物理约束。该系统能够识别关键概念、生成创造性计划、计算参数和生成可执行代码,有助于其在处理需要创造性工具使用的复杂机器人任务方面取得成功。

Leave a Comment

纽约大学和谷歌AI研究员探索机器学习在高级演绎推理方面的前沿

使用大量推理规则和构建子证明的就业使得证明的复杂性在许多演绎推理任务中无限发展,例如医学诊断或定理证明。由于巨大的证明空间,不可能找到覆盖所有大小保证的数据。因此,从基本证明开始,通用推理模型应能够推广到更复杂的证明。 纽约大学和谷歌AI研究人员的一个团队证明,LLMs在接受上下文学习(ICL)和思维链(CoT)提示的训练后可以进行演绎推理。一些演绎规则,例如假言附加式,是早期研究的主要重点。评估也是在演示中进行的,这意味着测试用例与上下文演示的分布相同。 纽约大学、谷歌和波士顿大学的研究人员进行的一项新研究探讨了LLMs能否推广到比演示更复杂的证明。学术界根据三个维度对证明进行分类: 在演示的每个阶段使用的前提数量。 构成证明的顺序步骤的长度。 所使用的演绎规则。 总大小是这三个维度的函数。 该团队在两个重要方面对之前的研究进行了扩展,以评估LLMs的一般演绎推理能力。除了假言附加式外,他们测试LLMs是否掌握了所有演绎规则。他们的推理能力通过以下两种方式进行测试: 深度和宽度的推广涉及对比上下文示例提供的较长证明进行推理。 组合推广涉及在单个证明中使用大量的演绎规则。 根据他们的研究,推理任务在接受展示各种演绎规则的基本示例时最受益于上下文学习。为了防止模型过拟合,这些上下文示例必须包含它不熟悉的推导原则,例如分情况证明和反证法。此外,这些示例应该伴随有干扰项。 根据他们的发现,CoT可以使LLMs进行超领域推理,推广到组合证明。这些LLMs包括GPT-3.5 175B、PaLM 540B、LLaMA 65B和FLAN-T511B,其规模和训练目标各异。这一发现令人惊讶,考虑到大量文献主张LLMs缺乏组合泛化能力。ICL的泛化方式与监督学习不同,特别是在上下文样本上进行的梯度下降。明显地,使用与测试示例相同分布的上下文样本是更差的,因为它们在多个实例中被发现。例如,当上下文示例中包含特定演绎规则时,研究人员有时看到了更好的组合证明泛化效果。 似乎预训练并不能教育模型创建假设的子证明。没有明确的示例,LLMs无法推广到某些演绎规则(例如分情况证明和矛盾证明)。模型规模与性能之间的关系较弱。通过定制指导和更多的预训练,较小的模型(不是最小的,但可比较)可以与较大的模型竞争。 为了进一步了解ICL和CoT触发过程,研究人员指出了一个关键的领域需要今后进行研究。他们发现,最好的上下文示例通常来自于与测试示例本身不同的分布,即使是对于特定的测试示例。贝叶斯推理和梯度下降并不能解释这一点。他们有兴趣研究是否简单的示例效果更好,即使测试案例稍微复杂。需要进一步研究来了解如何更进一步地表征从特定实例进行推广。

Leave a Comment

Deci AI推出DeciLM-7B:一种超快速且超准确的70亿参数的大型语言模型(LLM)

“`html 在不断发展的技术进步领域中,语言模型已成为不可或缺的一部分。这些由先进的人工智能驱动的系统增强了我们与数字平台的互动。语言模型旨在理解和生成类似人类的文本,弥合了人类沟通与机器理解之间的差距。技术的进步引领着一个数字时代,语言模型在信息处理、沟通和问题解决中扮演越来越重要的角色。 最近,Deci推出了DeciLM-7B,这是一种具有高精度和速度的创新模型,适用于70亿参数级别。这个模型在Apache 2.0许可下,处于新一代语言模型的前沿,拥有70亿参数级别中无与伦比的准确性和速度。该模型是语言处理领域的一种增量革新和变革性力量。 在“开放语言模型排行榜”上,DeciLM-7B显示出令人印象深刻的平均得分为61.55。这表明DeciLM-7B是70亿参数级别中最先进的基础语言模型,提供了在各种应用中改进的准确性和可靠性。Mistral 7B在诸多基准测试中表现优异,包括Arc、HellaSwag、MMLU、Winogrande和GSM8K等。 DeciLM-7B不仅准确,而且速度出色。与Mistral 7B相比,它的吞吐量增加了83%,与Llama 2 7B相比增加了139%。DeciLM-7B提高了语言模型的效率标准。PyTorch基准测试突显了其在吞吐量上优于Mistral 7B和Llama 2 7B,分别显示出1.83倍和2.39倍的增加。 DeciLM-7B与Infery和Dec开发的推理SDK相互协作,相对于具有vLLM的Mistral 7B,能够提供4.4倍的速度提升,为成本效益高、大量用户交互提供机会。 DeciLM-7B利用NAS的引擎AutoNAC。该模型采用了变量分组查询注意力。在顶级的70亿参数大型语言模型中,该模型在没有复杂的偏好优化方法的情况下表现出色。研究人员强调,DeciLM-7B和Infery-LLM具有在多个行业引发革命性变革的潜力。它们在提供实时聊天机器人的高容量客户服务方面提升了智能度、响应度和可负担性,并在医疗、法律、市场营销和金融等文本密集型专业领域中实现了工作流自动化的革新。 总之,DeciLM-7B在大型语言模型中具有重要作用。它不仅在准确性和效率方面出类拔萃,还在可访问性和多功能性方面表现出众。随着技术的不断进步,像DeciLM-7B这样的模型在塑造数字世界方面变得更加重要。它们给我们提供了一个令人兴奋的前景,展示了无数未来可能性的一瞥。随着技术的进步,这些模型变得越来越重要,为我们提供了数字领域中众多选择的引人入胜且广阔的预览。 “`

Leave a Comment

微软AI发布了LLMLingua:一种独特的快速压缩技术,可用于压缩大型语言模型(LLMs)的提示,以加快推理速度

鉴于大型语言模型(LLM)具备较强的概括和推理能力,它们显著地提升了人工智能(AI)社区的水平。这些模型在自然语言处理(NLP)、自然语言生成(NLG)、计算机视觉等方面展示了令人瞩目的能力。然而,包括语境学习(ICL)和思维链(CoT)提示在内的新发展,导致了使用较长提示的部署,有时甚至超过几万个令牌。这在模型推理方面带来了成本效益和计算效率的问题。 为了克服这些挑战,微软公司的研究团队推出了LLMLingua,一种独特的粗粒度快速压缩技术。LLMLingua的主要目标是最小化与处理长提示相关的开销,并加速模型推理。为此,LLMLingua采用了一些重要策略,包括以下几点。 预算控制器:创建了一个动态预算控制器,用于分配压缩比率给原始提示的各个部分。这确保提示的语义完整性在大量压缩比率下仍然保持。 令牌级迭代压缩算法:将令牌级迭代压缩算法集成到LLMLingua中。这种技术通过捕捉压缩元素之间的相互依赖关系,实现了更复杂的压缩,同时保留了提示的关键信息。 基于指令调整的方法:该团队提出了一种基于指令调整的方法,以解决语言模型之间分布不匹配的问题。调整语言模型的分布可以提高用于快速压缩的小语言模型与预期的LLM之间的兼容性。 研究团队使用来自不同情况的四个数据集进行了分析和实验,以验证LLMLingua的实用性。这些数据集包括推理的GSM8K和BBH、对话的ShareGPT以及摘要的Arxiv-March23。结果表明,该方法在每种情况下都取得了最先进的性能。结果甚至显示,LLMLingua可以在牺牲很少性能的情况下,实现高达20倍的显著压缩。 实验中使用的小语言模型是LLaMA-7B,封闭式LLM是GPT-3.5-Turbo-0301。LLMLingua在最大压缩比20倍时超越了以前的压缩技术,在保留推理、摘要和讨论能力方面表现出了韧性、经济性、高效性和可恢复性。 LLMLingua的有效性在多个封闭式LLM和小语言模型中得到证实。在使用GPT-2-small时,LLMLingua展示了出色的性能结果,与更大的模型大致匹配。它还在强大的LLM上表现出色,超过了预期的快速结果。 LLMLingua的可恢复性是一个值得注意的方面,因为当使用它来恢复压缩的提示时,GPT-4能够有效地从完整的9步CoT提示中检索重要的推理信息,并保持原始提示的含义和相似性。这个功能保证了可恢复性,即使在翻译后仍保留了关键信息,增加了LLMLingua的整体印象。 总而言之,LLMLingua为LLM应用中长提示带来的困难提供了全面的解决方案。该方法展现了出色的性能,并提供了提高LLM应用的效果和价格效益的有用途径。

Leave a Comment

见面Mixtral 8x7b:Mistral推出的革命性语言模型,超越GPT-3.5在开放学术资源的人工智能中

大型语言模型领域迎来了一个重要的跨越,Mixtral 8x7b的到来。Mistral AI开发了这个具有卓越能力和独特架构的新模型。它用稀疏的Expert混合(MoE)层取代了前馈层,这是变换器模型中的一种创新方法。 Mixtral 8x7b 在一个框架内拥有八个专家模型。这个模型是一个专家混合模型(MoE),使Mixtral能够实现卓越的性能。 专家混合技术可以使模型的预训练所需的计算能力大大减少。这意味着可以显著增加模型或数据集的大小而不增加计算预算。 在MoE层中引入了路由器网络,它可以高效选择处理哪些令牌的专家。尽管与含有12B参数的密集模型相比,Mixtral的模型拥有四倍的参数,但由于每个时间步选择了两个专家,因此可以快速解码。 Mixtral 8x7b具有32,000个令牌的上下文长度容量,优于Llama 2 70B,并在各种基准测试中展现出与GPT3.5相媲美或更好的结果。研究人员表示,该模型具有适用于各种应用的多功能性。它可以多语言操作,并展现其在英语、法语、德语、西班牙语和意大利语方面的流利性。其编码能力也非常出色;在HumanEval测试中得分40.2%,巩固了它作为一个全面的自然语言处理工具的地位。 Mixtral Instruct在MT-Bench和AlpacaEval等行业标准上表现出色。它在MT-Bench上的表现超过其他公开模型,并与GPT-3.5相匹配。尽管参数达到70亿,但该模型的性能类似于八个模型的集合。虽然它可能没有达到560亿参数的规模,但总参数数约为450亿。此外,Mixtral Instruct在指导和聊天模型领域表现出色,表达了其优势。 Mixtral Instruct的基本模型没有与其他基本模型对齐的特定提示格式。这种灵活性允许用户顺畅地扩展输入序列,获得合理的延续或将其用于零样本/少样本推理。 然而,有关预训练数据集的维度、组成和预处理方法的完整信息仍需进一步提供。同样,仍不知道对Mixtral instruct模型的DPO(域预提供目标)和SFT(部分微调)使用了哪些微调数据集和相关超参数。 总结一下,Mixtral 8x7b通过结合性能、适应性和创造力改变了语言模型的游戏规则。当AI社区继续研究和评估Mistral的架构时,研究人员迫切希望看到这种先进语言模型的影响和应用。MoE的8x7B能力可能为科学研究和发展、教育、医疗保健和科学开辟新的机遇。 这篇文章Meet Mixtral 8x7b: The…

Leave a Comment

见面吉加GPT:Cerebras 实现 Andrei Karpathy 的nanoGPT,用只有565行代码训练GPT-3规模的AI模型

训练大型变压器模型面临重大挑战,尤其是在追求具有数十亿甚至数万亿参数的模型时。主要障碍在于如何在多个GPU上高效分配工作负载,同时减轻内存限制。当前的情况依赖于复杂的大型语言模型(LLM)扩展框架,如Megatron、DeepSpeed、NeoX、Fairscale和Mosaic Foundry。然而,随着模型大小的增加,这些框架引入了相当大的复杂性。讨论的研究介绍了Cerebras的gigaGPT作为解决这些挑战的新颖方法,提供了一种消除对复杂并行化技术的需要的替代方法。 对于训练大型变压器模型,像Megatron和DeepSpeed这样的方法依赖于多GPU之间的分布式计算。然而,随着模型大小超过几十亿个参数,这些方法会遇到内存限制,需要复杂的解决方案。相比之下,Cerebras的gigaGPT引入了一种范式转变。它实现了nanoGPT,它具有仅565行的非常紧凑的代码库。这个实现可以训练具有超过1000亿个参数的模型,而无需额外的代码或依赖第三方框架。GigaGPT利用了Cerebras硬件的大量内存和计算能力。与其同行不同的是,它可以无缝操作而不引入额外的复杂性,既提供了简洁可靠的代码库,又能够训练GPT-3规模的模型。 GigaGPT在其核心是实现了基本的GPT-2架构,与nanoGPT的原则紧密对齐。它使用了学习的位置嵌入、标准的自注意力机制、模型中的偏置以及模仿nanoGPT的结构的选择。值得注意的是,该实现不仅适用于特定的模型大小;gigaGPT通过训练具有111M、13B、70B和175B个参数的模型,证明了它的多功能性。 与GPT-2分词器和nanoGPT的预处理代码配合使用的OpenWebText数据集成为测试基础。GigaGPT的性能得到了证明,它可以从数百万个参数的模型扩展到具有数百亿个参数的模型,而不需要专门的并行化技术。这565行代码涵盖了整个代码库,展示了其简单和高效。 该实现的成功在特定的模型配置中得到了进一步的体现。例如,111M配置与Cerebras-GPT相一致,保持了相同的模型维度、学习率、批量大小和训练计划。类似地,13B配置与相应的Cerebras-GPT配置相匹配,70B配置借鉴了Llama-2 70B。70B模型保持了稳定性和性能,展示了其可扩展性。在验证了70B模型之后,研究人员通过配置基于GPT-3论文的175B模型来推动界限。最初的步骤展示了该模型在处理增加的规模时的内存问题,暗示了gigaGPT可能扩展到超过1万亿个参数的模型。 总之,gigaGPT成为训练大型变压器模型的一项突破性解决方案。研究团队的实施不仅通过提供简洁和易于操作的代码库简化了过程,还使得训练GPT-3规模的模型成为可能。利用Cerebras硬件的广阔记忆和计算能力,标志着在使大规模AI模型训练更加可访问、可扩展和高效方面的重要进步。这种创新的方法为机器学习研究人员和从业者解决训练大规模语言模型中的复杂性提供了一个有前途的途径。 Introducing gigaGPT: our implementation of @karpathy’s nanoGPT that trains GPT-3 sized models in just 565 lines of…

Leave a Comment

Together AI推出了StripedHyena-7B:一种替代性的人工智能模型,与最优秀的开源变压器在短期和长期上下文评估中具有竞争力

AI ​​一起为序列建模架构作出了重大贡献,并引入了StripedHyena模型。它通过为传统的Transformer提供了新的选择,专注于计算效率和增强性能,彻底改变了这一领域。 此发布包括基础模型StripedHyena-Hessian-7B(SH 7B)和聊天模型StripedHyena-Nous-7B(SH-N 7B)。StripedHyena基于去年创建的H3、Hyena、HyenaDNA和Monarch Mixer等有效的序列建模架构的重要经验教训。 研究人员强调,该模型在训练、微调和生成过程中处理长序列时具有更快的速度和更高的内存效率。StripedHyena通过将门控卷积和注意力结合到他们所称的Hyena运算符中的混合技术中。此外,这是与强大的Transformer基础模型竞争的首个替代架构。在包括OpenLLM leaderboard任务的短上下文任务中,StripedHyena优于Llama-2 7B、Yi 7B和最强Transformer替代方案(如RWKV 14B)。 该模型在处理短上下文任务和处理较长提示的过程中通过研究各种基准进行了评估。在Project Gutenberg书籍上进行的困惑度缩放实验表明,困惑度在32k处饱和或在此点之后下降,这意味着模型能够吸收来自较长提示的信息。 StripedHyena通过一种独特的混合结构实现了效率,该结构将注意力和门控卷积组织成Hyena运算符。他们使用创新的嫁接技术优化了这种混合设计,在训练过程中实现了架构修改。 研究人员强调,StripedHyena的主要优势之一是其在训练、微调和生成长序列等各种任务中的速度和内存效率的提升。它在32k、64k和128k上的端到端训练中,分别比使用FlashAttention v2和自定义内核进行优化的Transformer基准性能提高了30%、50%和100%。 未来,研究人员希望在几个领域取得显著进展,其中包括StripedHyena模型。他们希望创建能够处理更长上下文的更大模型,从而扩大信息理解的限制。此外,他们还希望融入多模态支持,通过允许它处理和理解来自不同来源(如文本和图像)的数据,提高模型的适应性。 总之,该模型有望通过引入额外的计算(例如在门控卷积中使用多个头)改进Transformer模型。这种受线性注意力启发的方法,在H3和MultiHyena等架构中已被证明有效,提高了模型在训练过程中的质量,并为推理效率提供了优势。

Leave a Comment

这篇AI研究分享了关于图上大型语言模型(LLMs)的全面概述

著名的大型语言模型(LLMs)如GPT,BERT,PaLM和LLaMA在自然语言处理(NLP)和自然语言生成(NLG)领域取得了一些重大进展。这些模型在大型文本语料库上进行了预训练,并在多个任务中表现出令人难以置信的性能,包括问答,内容生成,文本摘要等。 虽然LLMs已被证明能够处理纯文本,但在文本数据与图形的结构信息相连的应用中,处理图形推理任务变得越来越必要。研究人员一直在研究LLMs如何应用于基本图形推理任务,包括匹配子图,最短路径和连接推理。与LLMs的整合相关的图形应用包括纯图形,文本丰富的图形和文本配对的图形,具体的技术包括将LLMs用作任务预测器,图形神经网络(GNNs)的特征编码器或与GNNs对齐器,具体取决于它们的功能和与GNNs的交互。 LLMs在基于图形的应用中越来越受欢迎。但是,鲜有研究探讨LLMs和图形之间的相互作用。在最近的研究中,一组研究人员提出了一种系统地概述了大型语言模型与图形整合的情况和方法。目的是将可能的情况分为三个主要类别:文本丰富的图形,文本配对的图形和纯图形。团队分享了使用LLMs在图形上的具体方法,例如将LLMs用作对齐器,编码器或预测器。每种策略都有其优势和缺点,研究的目的是对比这些不同的方法。 该团队强调了这些技术的实际应用,展示了在与图形相关的活动中使用LLMs的好处。该团队分享了有关基准数据集和开源脚本的信息,以帮助应用和评估这些方法。结果强调了对这一快速发展领域进行更多调查和创造性的需求。 该团队总结了他们的主要贡献如下。 该团队通过系统分类使用语言模型在图形中的情况进行了贡献。这些情况被分为三类:文本丰富,文本配对和纯图形。这个分类法提供了一个理解这些不同环境的框架。 使用图形方法仔细分析了语言模型。评估总结了适用于各种图形环境的代表性模型,使其成为最全面的评估。 整理了与语言模型在图形上相关的大量材料,包括真实世界应用,开源代码库和基准数据集。 在语言模型在图形领域进一步研究方向上提出了六个可能的方向,深入探讨了基本理念。

Leave a Comment

Mistral AI发布MoE 8x7B版本的语言模型突破性进展

总部位于巴黎的初创公司Mistral AI推出了一款语言模型——MoE 8x7B。Mistral LLM经常被比作缩小版的GPT-4,它由8个拥有每个拥有70亿参数的专家组成。值得注意的是,在每个记号的推理中,只有其中的2个专家会被使用,展示了一种简化而高效的处理方式。 该模型采用混合专家(MoE)架构,以实现令人印象深刻的性能和效率。与传统模型相比,这使得性能更高、效率更优。研究人员强调,MoE 8x7B在文本生成、理解以及需要高级处理的编码和SEO优化等任务方面,表现比之前的模型(例如Llama2-70B和Qwen-72B)更好。 这在AI社区引起了很大轰动。著名的AI咨询师和以色列机器学习和深度学习社区的创始人表示,Mistral以此类发布闻名,并将其视为业界的特色。开源AI倡导者Jay Scambler指出了发布的不寻常之处。他表示,它成功地引起了极大关注,暗示这可能是Mistral故意采取的一种策略,以吸引AI社区的关注和好奇。 Mistral在AI领域的发展过程中也取得了里程碑式的成就,包括拿下创纪录的1.18亿美元种子轮融资,该轮融资被报道为欧洲历史上最大的融资规模。该公司在9月推出了其首个大型语言AI模型Mistral 7B,进一步获得了认可。 MoE 8x7B模型拥有8个专家,每个专家拥有70亿参数,相比之下,GPT-4每个专家拥有16个专家和1660亿参数。与估计的GPT-4的1.8万亿参数相比,该模型的估计总参数为420亿。此外,MoE 8x7B对语言问题有更深入的理解,从而改进了机器翻译、聊天机器人交互和信息检索。 MoE架构允许更高效的资源分配,从而实现更快的处理速度和更低的计算成本。Mistral AI的MoE 8x7B标志着语言模型发展的重大进步。其卓越的性能、效率和多样性为各个行业和应用领域带来了巨大的潜力。随着AI的不断发展,像MoE 8x7B这样的模型预计将成为寻求增强数字专长和内容策略的企业和开发者的重要工具。 总之,Mistral AI的MoE 8x7B发布引入了一种结合了技术复杂性和非传统营销策略的新颖语言模型。研究人员对这种尖端语言模型的效果和用途感到兴奋,AI社区将继续审查和评估Mistral的架构。MoE 8x7B的能力可能会为教育、医疗保健和科学发现等各个领域的研究和发展开辟新的道路。

Leave a Comment

这篇来自伦敦帝国学院和Eleuther AI的AI论文探讨了角色扮演作为理解对话代理行为的框架

“`html 在我们当代世界中,人工智能(AI)的整合深刻地改变了人类的互动方式。大型语言模型(LLMs)的出现,比如ChatGPT,引发了明显的转变,模糊了像人类一样的认知能力和自动化回应之间的界限。来自伦敦帝国理工学院和Eleuther AI研究团队的最新一篇论文从语言的角度阐述了我们在这个不断演化的AI智能领域中需要重新评估的必要性。 AI聊天机器人的吸引力在于它们惊人的能力模拟与有意识的个体进行对话,而不仅仅是机械算法。然而,这种模拟人类互动的能力引发了人们对个人易于形成情感联系的担忧,可能导致风险和漏洞。研究人员强调了我们重新校准对这些LLMs的语言和观念的必要性。 问题的本质在于人类固有的社交和移情倾向,这促使人们与展现出人类属性的实体进行互动。然而,这种倾向使人易受恶意行为者的利用,后者可能滥用LLMs进行欺诈活动或宣传。团队警告我们不要将“理解”、“思考”或“感觉”等人类属性归因于LLMs,因为这会无意中使它们拟人化,并产生需要保护的脆弱性。 该论文提出了缓解对AI聊天机器人过度情感依附或依赖的风险的策略。它主张从两个基本隐喻出发改变我们的看法。首先,将AI聊天机器人视为扮演独立角色的演员能简化用户理解。其次,将它们视为在广泛的潜在角色中扮演各种角色的策划者能提供更复杂、技术化的视角。研究人员强调了灵活性的重要性,敦促在这些不同隐喻之间无缝过渡,以促进全面理解。 团队强调人们与AI聊天机器人互动的态度极大地塑造了他们的观念和脆弱性。接纳多样的观点能更全面地把握这些系统固有的能力。 对语言的彻底改变的必要性超越了语义上的变化;它需要认知范式的根本转变。如研究人员所描述的,理解这些“异域的类人智能体”需要摆脱传统的拟人主义。反而,它需要一种灵活的思维方式,能够在简化和复杂化的AI聊天机器人概念之间流畅地切换。 总之,该论文强调了在不断演变的AI嵌入式互动环境中,语言适应和认知灵活性的重要性。随着技术的进步,重新塑造围绕AI聊天机器人的讨论变得尤为必要。通过重新校准语言并接纳多样的观点,个体可以在利用这些智能系统的潜力的同时减轻内在风险,从而促进人类认知和AI智能之间的和谐关系。 “`

Leave a Comment

《加州大学伯克利分校研究人员引入LLMCompiler:一种优化LLM并行函数调用性能的LLM编译器》

多功能调用任务在使用LLMs时可能会变慢且不准确。为了解决这个问题,来自UC Berkeley、ICSI和LBNL的研究人员开发了LLMCompiler,这是一个旨在提高LLMs在此类任务中的效率和准确性的框架。LLMCompiler通过其组件:LLM Planner、任务获取单元和执行器,实现了函数调用的并行执行。 LLMCompiler是一个使LLMs能够进行并行函数调用的框架,提高了多功能任务的效率和准确性。由LLM Planner、任务获取单元和执行器组成的LLMCompiler,在基准测试中优于ReAct和OpenAI的并行函数调用功能,显示出一致的延迟加速和准确性改进。兼容开源模型如LLaMA-2和OpenAI的GPT模型,LLMCompiler解决了LLM的局限性,如知识截断和算术技能,为执行函数调用提供了优化的解决方案。该框架是开源的,便于进一步的研究和开发。 最近LLM的进展将其能力扩展到执行函数调用,克服了其固有的限制。由LLM Planner、任务获取单元和执行器组成的LLMCompiler优化了函数调用的编排。基准测试结果表明,与ReAct和OpenAI的并行函数调用相比,延迟、成本和准确性都有持续的提升。 LLMCompiler是一个用于LLMs中并行函数调用的框架,包括LLM Planner、任务获取单元和执行器。LLM Planner制定执行策略,任务获取单元调度和更新任务,执行器并行执行任务。兼容开源模型如LLaMA-2和OpenAI的GPT,LLMCompiler比ReAct具有延迟加速、成本节约和准确性改进。支持动态重新计划以实现自适应执行,该开源框架提供了在LLMs中高效编排多功能调用任务的解决方案。 在各种任务上进行基准测试,包括复杂的依赖关系和动态重新计划需求,LLMCompiler始终优于ReAct,在延迟加速上可达到3.7倍,节约成本可达6.7倍,准确性提高9%。在24点游戏基准测试中,LLMCompiler与Tree-of-Thoughts相比,实现了2倍的加速,并且在与OpenAI的并行函数调用功能相比时取得了高达1.35倍的延迟增益。开源代码便于进一步的探索和开发。 总之,LLMCompiler是一个有前景的框架,可以显著提高LLMs中并行函数调用的效率、成本和准确性。它胜过现有的解决方案,并有潜力在使用LLMs进行大规模任务的软件开发中提供高效和准确的执行。其开源性使开发人员能够利用其优势。 在研究LLMs的操作系统视角时,应进一步探索LLMCompiler。这可能会推动基于LLMs的大规模软件开发的进展。建议在考虑规划和执行延迟时,与ReAct相比,调查使用LLMCompiler能够实现的加速效果。在LLMs中引入并行函数调用,对于高效执行复杂任务具有潜力。LLMCompiler的持续开发和探索可以为基于LLMs的软件的发展做出贡献。

Leave a Comment

元AI宣布紫色羊驼,以协助社区通过开放和生成式AI模型进行道德建设

由于自动回归语言建模的数据增加、模型规模和计算能力的成功,会话式AI代理在过去几年中实现了显著的飞跃。聊天机器人通常使用大型语言模型(LLMs),以其众多有用的技能而闻名,包括自然语言处理、推理和工具熟练度。 这些新应用需要经过全面的测试和谨慎的发布,以减少潜在的危险。因此,建议由生成性AI驱动的产品实施防止生成违反政策的高风险内容的保障措施,以及防止对模型进行敌对输入和越狱的尝试。其中包括资源,如Llama 2负责任使用指南。 在寻找控制在线内容的工具时,Perspective API1、OpenAI内容审查API2和Azure内容安全API3都是很好的起点。然而,当将它们用作输入/输出保障措施时,这些在线审查技术在几个方面存在问题。首先,目前无法区分用户和AI代理在他们所带来的危险方面的区别;毕竟,用户要求信息和帮助,而AI代理更有可能提供。此外,用户无法根据新政策更改工具,因为它们都有固定的政策需要执行。第三,无法将它们调整为特定的使用案例,因为每个工具仅提供API访问。最后,所有现有工具都是基于普通的传统Transformer模型。与更强大的LLMs相比,这严重限制了它们的潜力。 新的Meta研究揭示了一种用于输入输出保护的工具,它将会话式AI代理的提示和响应中的潜在危险进行分类。这填补了该领域中将LLMs用作审查基础的一个需求。 他们使用基于分类学的数据来对Llama Guard进行微调,这是一个基于逻辑回归的输入输出保护模型。Llama Guard将相关分类学作为输入来分类羊驼,并应用指令职责。用户可以使用零样本或少样本提示来个性化模型输入,以适应不同的使用案例相应的分类法。在推断时,可以选择几个微调的分类法,并相应地应用Llama Guard。 他们提出了区分LLM输出(AI模型的响应)和人类请求(对LLM的输入)的独特指南。因此,Llama Guard可以捕捉到用户和代理责任之间的语义差异。利用LLM模型遵循指令的能力,他们只需要一个模型就可以完成这个任务。 他们还推出了Purple Llama。将来,它将成为一个综合资源和评估项目,以帮助社区在以开放、生成的AI模型进行伦理建设方面取得成功。网络安全和输入/输出保护工具和评估将是首次发布的一部分,更多的工具将会陆续推出。 他们为业界提供了首个全面的LLM网络安全评估指南。这些指南是与他们的安全专家一起开发的,并基于行业建议和标准(如CWE和MITRE ATT&CK)。在这个首次发布中,他们希望提供资源,以帮助减轻在白宫创建负责任的人工智能的承诺中提到的一些危险,例如: 量化LLM网络安全威胁的度量标准。 评估不安全代码提案的工具。 评估使LLM编写恶意代码或进行网络攻击更加困难的工具。 他们预计这些工具将通过减少提出不安全的AI生成代码的频率来减少LLM对网络攻击者的效用。他们的研究发现,当LLM建议不安全代码或配合恶意请求时,将会带来严重的网络安全问题。 在应用特定内容限制方面,所有LLM的输入和输出都应根据Llama 2负责任使用指南进行审查和过滤。 该模型使用公开可用数据集的组合进行训练,以检测可能有害或侵权信息的常见类别,这些信息可能与各种开发者使用案例相关。通过公开可用其模型权重,他们消除了实践者和研究人员依赖带宽有限的昂贵API的需求。这为进一步的实验和根据个人需求调整Llama Guard的能力打开了大门。

Leave a Comment

迎接NexusRaven-V2:一款13B LLM在零转移功能调用方面优于GPT-4,并具有将自然语言指令转化为可执行代码的能力

LLMs可以通过在与代码相关的数据集上进行微调来生成代码片段,包括函数调用。这些模型可以根据提供的输入来提供关于函数调用的建议或生成代码,通过提供上下文或提示来提供关于函数调用的建议或生成代码。语言模型可用于自然语言理解代码相关的查询或指令。开发者可以输入问题或描述,模型可以解释这些内容并提供相关的函数调用或代码段作为答案。 LLMs可以通过根据上下文或部分代码提供的内容提出函数调用或建议相关的函数来协助完成代码。这有助于开发者更快地编写更准确的代码。LLMs可以根据给定的任务或问题描述引导合适的API或过程,以帮助开发者找到其代码中需要调用的正确函数。将LLMs集成到开发环境中可为开发者提供实时协助,指导他们进行函数调用、参数类型或潜在错误的处理。 Nexusflow的研究人员提出了一个开源的LLM模型,NexusRaven-V2。它可以将自然语言指令转换为可使用工具的可执行代码。OpenAI Assistant API是实现协助工具和代理程序使用软件工具的关键。NexusRaven-V2旨在推进合作伙伴和代理程序的开源模型。 在涉及嵌套和复合函数的人工生成用例中,NexusRaven-V2的函数调用成功率比GPT-4高出最多7%。NexusRaven经过了针对Meta的CodeLlama-13 B指令进行的调整。它使用Nexusflow的管道,仅从开源代码语料库中来源,而不使用专有的LLM。对于社区开发者和企业来说,它具有商业上的宽容度。 观察到,在我们的人为策划基准测试中,NexusRaven-V2的函数调用成功率平均比最新的GPT-4模型高出4%。值得注意的是,在4个需要嵌套和复合函数调用的挑战性任务中,NexusRaven-V2表现出比GPT-4更强大的适应性,能够处理开发者对函数描述的差异。 该团队发布了开源的工具,使用户能够无缝替换主流专有的函数调用API,并在其软件工作流程中使用NexusRaven-V2。他们还提供在线的演示和Colab笔记本,用于入门和集成演示。他们公开了评估基准测试Nexus-Function-Calling并建立了一个Huggingface 排行榜,其中包含大量真实的人工策划的函数调用示例,涵盖了各种函数调用用例和难题。 在未来,函数调用LLMs可以受益于教育环境,为学习者提供实时协助,指导他们正确调用函数,从而帮助他们理解编程概念。

Leave a Comment

谷歌DeepMind的研究人员提出了代码链(CoC):一种简单但意外有效的扩展,改进了语言模型(LM)的代码驱动推理能力

来自Google DeepMind、斯坦福大学和加州大学伯克利分校的研究人员开发了一个名为Code Chain的代码链,旨在解决提高语言模型的代码驱动推理能力的问题。Code Chain鼓励将语义子任务以灵活的伪代码格式化为程序,解释器可以明确捕捉到未定义行为,并交给模拟器(作为“LMulator”)来模拟。Code Chain在使用大型和小型模型时都具有良好的扩展性,并通过以编码思维回答问题来扩大语言模型能够正确回答的推理问题的范围。 类似于Chain of Thought、least-to-most和ScratchPad等工作利用提示来改善推理,通过将任务分解为中间步骤或跟踪中间结果来进行。在Github上训练的语言模型被提示编写和执行代码,这有助于解决涉及数字或符号推理的复杂问题。 为了解决给定的问题,Code Chain在代码结构中生成推理子步骤。这段代码提供了推理的框架,可以是明确的代码、伪代码或自然语言形式。Code Chain通过将代码的优点与语言模型的强大语义和常识知识相结合,使代码在全新的领域中得以使用,可以轻松表达在代码中难以表达的规则(例如,哪些食物是水果?)。 Code Chain的核心贡献不仅仅是生成推理代码,而是如何执行它。代码编写完毕后,尝试通过代码解释器执行代码-在这项研究中,研究人员考虑了Python,但这种方法对任何解释器都是通用的。如果代码成功执行,则更新程序状态并继续执行。如果代码无法执行或引发任何异常,则使用语言模型来模拟执行。语言模型的输出更新程序状态,并继续执行。 Code Chain方法的整体性能优于其他方法,在超过的任务数量和整体超过基准线的数量上超过人类基准线。Code Chain在几项研究中取得了最新成果。与Chain of Thought提示相似,随着模型大小的增加,性能有所提高。跨任务提示导致所有方法的性能下降,但Code Chain在大规模上仍然优于Chain of Thought和直接提示,接近人类的平均性能。 Code Chain是通过编写代码和使用解释器执行代码或使用模拟执行的语言模型,以在语言模型中进行推理的方法。Code Chain可以利用规则的表达结构和强大的工具。此外,通过模拟非可执行代码的执行,Code Chain可以应用于正常情况下不涉及代码的问题(例如,语义推理问题)。

Leave a Comment

薛定谔桥是如何击败扩散模型在文本转语音(TTS)合成中的?

随着人工智能的不断发展,自然语言处理、自然语言生成和计算机视觉这些领域最近取得了巨大的流行,这都要归功于大型语言模型的引入。扩散模型在生成文本到语音合成(TTS)方面已经证明非常成功,显示出了很高的生成质量。然而,它们的先验分布受限于引入噪声并对所需生成目标提供很少信息的表示形式。 最近的研究中,清华大学和微软亚洲研究院的研究人员团队介绍了一种名为Bridge-TTS的新的文本到语音系统。这是首次尝试在已建立的扩散式TTS方法中利用干净可预测的替代方法替代噪声高斯先验。该替代先验提供了有关目标的强结构信息,并从文本输入提取的潜在表示中获取。 该团队表示,主要贡献在于开发出了一个完全可管理的薛定谔桥,它连接了真实的梅尔谱图和干净的先验。建议的Bridge-TTS使用的是一种数据到数据的过程,这比起扩散模型的数据到噪声过程改善了先前分布的信息内容。 该团队已经对这种方法进行了评估,并在LJ-Speech数据集上进行了实验验证,评估结果突出显示了建议方法的有效性。在50步骤/1000步骤合成设置中,Bridge-TTS表现出比扩散对应方法Grad-TTS更好的性能。它甚至在少量步骤的情况下比强大且快速的TTS模型表现更好。Bridge-TTS方法的主要优势在于合成质量和采样效率。 该团队总结了主要贡献如下。 从无污染的文本潜在表示中产生了梅尔谱图。与传统的数据到噪声过程不同,这个作为扩散模型上下文中的条件信息的表示形式被设计成无噪声。薛定谔桥被用来研究数据到数据的过程。 针对配对数据,提出了一个完全可计算的薛定谔桥。这个桥使用柔性形式的参考随机微分方程(SDE)。这种方法允许对设计空间进行实证调查,并提供了一个理论解释。 研究了采样技术、模型参数化和噪声调度如何对改善TTS质量发挥作用。还实现了不对称噪声调度、数据预测和一阶桥采样器。 完全可计算的薛定谔桥使得对底层过程的完整理论解释成为可能。通过实证研究,我们可以了解到不同因素如何影响TTS的质量,包括不对称噪声调度、模型参数化决策和采样过程的效率。 该方法在推理速度和生成质量方面取得了很好的结果。在1000步和50步的生成情况下,它明显优于基于扩散的Grad-TTS。它在4步生成中也优于FastGrad-TTS,优于基于transformer的模型FastSpeech 2和最先进的蒸馏方法CoMoSpeech在2步生成中。 该方法仅经过一次训练就取得了出色的结果。这种效率在创作过程的多个阶段都可见,展示了建议方法的可靠性和效力。

Leave a Comment

来自AI2和华盛顿大学的研究人员揭示了LLMs中对齐的表面本质,并引入了URIAL:一种全新的无调优方法

大型语言模型(LLMs)是人工智能(AI)和深度学习领域的最新创新。像GPT、PaLM、LLaMa等等这些知名的LLMs在生成内容方面展示了令人难以置信的潜力。从问答和文本摘要到语言翻译和代码补全,这些模型可以做很多事情。包括ChatGPT在内的这些模型都经过了对广阔无监督文本语料库的广泛预训练。然而,最近的研究表明,细调整的常用做法可能并不像之前认为的那样必要。 对齐调整,即改进基本LLMs以用作开放领域AI助手的过程,已被接受为行业标准。这包括人工反馈强化学习(RLHF)和监督微调(SFT)。这一标准在一项名为LIMA的研究中受到了质疑,该研究表明,仅仅使用1000个样本进行SFT可能就足以实现有意义的对齐性能。 LIMA提出的表面对齐假设认为,对齐调整不是根本改变基本LLMs的行为,而是训练它们选择适用于用户参与的特定数据格式。这表明,只需几个样例就可以在监督微调下产生高质量的对齐模型。 由于至今还没有足够的研究为表面对齐理论提供坚实的支持,来自艾伦人工智能研究所和华盛顿大学的研究人员最近在一篇论文中讨论了对齐调整的广泛应用技术,以将基本LLMs转化为实用的开放领域AI助手。通过人工反馈的强化学习完成了偏好调整,并通过监督微调完成了指令学习。 该团队通过检查基本LLMs与其对齐的版本(如Llama-2和Llama-2-chat)之间的令牌分布变化,以研究对齐调整的影响。他们发现基本LLMs和其对齐版本在大多数位置的解码中共享排名靠前的令牌,并表现出几乎相同的性能。对话标记和安全声明是最受分布波动影响的样式令牌的例子。这项研究为假设提供了有说服力的证据,即对齐调整主要集中于融入AI助手的语言风格,而基本LLMs提供了响应用户查询所需的信息。 该团队还针对这些发现提出了一个研究课题:在没有SFT或RLHF的情况下,基本LLMs可以进行多大程度的对齐调整?他们提出了URIAL(未调整的LLMs与重新设计的上下文对齐),这是一种不需要调整的对齐技术。只需三个连续的样式示例和一个系统提示,URIAL通过基本LLMs的上下文学习(ICL)单独完成有效的对齐。 在一系列称为just-eval-instruct的实例中,该团队提供了详细易懂的分析,显示基于URIAL的基本LLMs的性能可以与或优于基于SFT(Mistral-7b-Instruct)或SFT+RLHF(Llama-2-70b-chat)进行对齐的LLMs。结果表明,有意识的提示和上下文学习可以显著缩小无调整与基于调整的对齐策略之间的差距。 总之,评估结果突出了浅层对齐调整,并表明它主要涉及采用语言风格并依赖于基本LLMs的现有知识。

Leave a Comment

最近的人们研究表明,通过仅将一个提示添加到您身边,您可以将LLMs召回能力提高70%:释放Claude 2.1的力量,通过战略提示

这项研究解决了Claude 2.1功能中的一个固有挑战:其不愿根据其覆盖的200K令牌上下文窗口中的单个句子回答问题的问题。这种犹豫在最大化模型的回忆能力方面构成了一个重大障碍,促使了解决方案的探索。 对当前方法的检查揭示了Claude 2.1在面对有关单个句子的问题时的犹豫,尤其是那些被视为不合适的问题。作为回应,Anthropic的研究人员介绍了一个令人惊讶地有效的解决方案:添加一个提示。他们建议将句子“这是上下文中最相关的句子:”并入提示中。这个看似微小的调整,类似于一个元命令,极大地增强了模型的召回能力。 添加的提示作为指令,指示Claude 2.1优先处理相关的句子。这种方法有效地解决了模型对看似不合适句子问题的犹豫。性能改进通过一个实验证明:在200K上下文窗口评估中,Claude的分数从27%跃升到了令人印象深刻的98%。 值得注意的是,在提供了这个提示后,单个句子查询的准确性出现了显著增加。重要的是,这种对单个句子查询准确性的增加展示了添加提示对Claude 2.1性能的深远影响。这种显著改进表明了解决方案的实际意义,使得模型能够更好地处理在更大上下文中的孤立句子查询。 总之,这个有创意的解决方案解决了Claude 2.1的犹豫,通过添加一个提示增加了召回能力的70%。研究团队的发现提供了关于提示的微妙动态及其对语言模型行为的重大影响的宝贵见解。随着人工智能社区寻求提高大型语言模型的精确性,这一发现成为一个重要的进展,对改进其功能具有实际意义。 这篇文章最初发表于MarkTechPost上,转自最近的Anthropic研究表明,通过单个提示的添加,可以将LLMs的召回能力提高70%:通过战略提示释放Claude 2.1的力量。

Leave a Comment

伊利诺大学研究人员推出了Magicoder:一系列针对代码的完全开源大语言模型(LLM)

伊利诺伊大学厄巴纳香槟分校和清华大学的研究团队旨在通过引入Magicoder来解决从开源代码片段生成低偏差、高质量编码挑战的难题。Magicoder在各种编码基准测试中表现优于现有的语言模型,包括Python文本转代码生成、多语言编码和数据科学程序语言模型。 CodeGen、CodeT5、StarCoder和CODELLAMA等知名基础模型已经证明了语言模型在代码生成和理解方面的基本能力。指令微调的提出旨在通过使用指令-响应对来对预训练的语言模型进行微调,SELF-INSTRUCT和Evol-Instruct等方法则用于生成指令微调的合成数据。现有的代码基准测试,如HumanEval、MBPP、APPS和CodeContests,评估语言模型在从自然语言描述中开发单功能程序方面的能力。 Magicoder是一系列完全开源的用于代码的语言模型,使用OSS-INSTRUCT方法在75,000个合成指令数据上进行训练,该方法使用开源代码片段启发语言模型生成高质量的代码指令数据。该方法通过从GitHub获取种子代码片段,促使语言模型生成与种子代码相关的编码问题和解决方案,确保多样性和真实世界的相关性。评估使用HumanEval和MBPP等基准测试,重点关注pass1指标。使用INSTRUCTOR根据嵌入相似性对由OSS-INSTRUCT生成的数据进行分类。为了提高鲁棒性,采用了数据清洗技术,包括净化和提示过滤。 Magicoder以不超过70亿的适度参数量展现了与顶级代码模型竞争性能。使用OSS-INSTRUCT在75,000个合成指令数据上进行训练,Magicoder在Python文本转代码生成、多语言编码和数据科学程序语言建模方面超越了先进的代码模型。增强版MagicoderS进一步改进了代码生成性能,在各种基准测试中超过了类似或更大尺寸的其他模型。 MagicoderS-CL-7B在代码模型中同时实现了前沿结果,展示了强大和优越的代码生成能力。 总之,该研究突出了使用OSS-INSTRUCT的有效性,该方法利用语言模型从开源代码片段中生成编码挑战。经过OSS-INSTRUCT训练的Magicoder在不同的编码基准测试中比其他参数更大的语言模型表现更好。此外,当与Evol-Instruct结合时,它还增强了MagicoderS模型,在HumanEval基准测试中表现出与ChatGPT等领先模型相似的令人印象深刻的性能。该研究建议公开模型权重、训练数据和源代码,以支持未来对于代码的语言模型和扩展OSS-INSTRUCT到更大的基础模型以生成更高质量数据的研究工作。

Leave a Comment

亚马逊Alexa AI研究人员推出QUADRo:一种突破性资源,拥有超过440,000个标注示例,可增强QA系统

人工智能(AI)和机器学习(ML)的能力使它们成功地进入了各个行业。最近,随着大型语言模型(LLMs)和问答系统的引入,AI社区取得了很大的进展。从预先计算好的包含问题-答案配对的数据库中高效地检索响应是自动问答(QA)系统的常见步骤。 有两种主要的QA范例:开放式和闭塞式。开放式范例,或称为取阅和阅读,是一个两步骤过程,其中相关材料是从庞大的文档语料库(经常是互联网)中获得的,然后通过应用不同的模型和方法从已获得的材料中提取解决方案。另一方面,闭塞式方法较新,依赖于在训练中学习的技能,这些使用该范例的模型通常基于Seq2Seq模型如T5,可以在不使用外部语料库的情况下产生结果。 虽然闭塞式技术显示出了显着的结果,但对于许多工业应用来说,资源消耗太大,并对系统性能构成重大风险。数据库问答(DBQA)是一种从预先生成的问题-答案对数据库中检索响应而不是依赖于模型参数或大型语料库中的信息的方法。 这些系统的三个主要部分是问题和答案的数据库、查询数据库的检索模型和选择最佳答案的排名模型。DBQA技术能够进行快速的推理,并具备添加新对并避免重新训练模型的能力,从而引入新的信息。 数据库问答技术的检索和排名模型开发的主要问题之一是缺乏实质性的训练数据。现有资源在范围和内容方面还不足,因为其中很多需要改进注释过程的质量或只关注问题之间的相似性,忽视了答复。 为了克服这些挑战,一组研究人员提出了一个名为QUADRo的问题-答案数据库检索数据集和模型。这是一个新的、面向开放域的注释资源,专门用于训练和评估模型。这个资源中每一个15,211个输入问题都有30个相关问题-答案对。这个收集总共有443,000个标注样本。每对的二进制指示器标记了它在与输入查询的关系中的重要性。 该团队还进行了全面的实验,以评估该资源与几个重要QA系统组件的质量和特性的关系。这些组件包括训练方法、输入模型配置和答案的相关性。通过对在该数据集上训练的模型的行为和性能进行检查,实验证明了所建议的方法在检索相关响应方面的效果。 总之,该研究通过引入一种有用的资源并仔细评估该资源的属性,解决了自动质量保证系统中训练和测试数据的不足。重视培训策略和答案相关性等重要元素有助于对该资源的全面了解。

Leave a Comment

我们可以更高效地优化大型语言模型吗?浏览这篇关于LLM效率算法进展的全面调查

我们能更高效地优化大型语言模型吗? 由来自微软、南加州大学和俄亥俄州立大学等多个机构的研究人员组成的研究团队进行了广泛的算法改进回顾,目标是提高LLMs的效率,并涵盖了扩展规律、数据利用、架构创新、训练策略和推理技术。这些全面的洞察旨在为高效的LLMs的未来创新奠定基础。 涵盖扩展规律、数据利用、架构创新、训练策略和推理技术,概述了核心LLM概念和效率度量。该回顾提供了对为提高LLM效率做出贡献的方法的全面、最新的概述。研究人员鼓励提供额外参考文献的建议,承认可能会忽视相关研究。 LLMs在自然语言理解中扮演着重要角色。然而,它们高昂的计算成本使得它们对每个人都不容易获得。为了克服这一挑战,研究人员不断进行算法改进,以提高它们的效率并使其更易获得。这些进展为人工智能的未来创新,尤其是在自然语言处理领域铺平了道路。 本研究调查了增强LLMs效率的算法进展。它考察了各种效率方面,包括扩展规律、数据利用、架构创新、训练策略和推理技术。并提到了Transformer、RWKV、H3、Hyena和RetNet等具体方法。讨论包括知识蒸馏方法、紧凑模型构建方法,以及基于频率的注意力建模和计算优化技术。 本调查综合性地研究了LLM效率而非专注于特定领域,涵盖了包括扩展规律、数据利用、架构创新、训练策略和推理技术在内的多样化效率方面。作为一种有价值的资源,它为LLM效率的未来创新奠定了基础。提供一个参考仓库增强了进一步探索和研究此关键领域的效用。然而,研究中提到的个别研究和方法的具体结果和发现应明确提供在给定的来源中。 总而言之,本调查深入探讨了可提高LLM技术效率的最新算法改进。它涵盖了扩展规律、数据利用、架构创新、训练策略和推理技术。调查强调了算法解决方案的重要性,并探讨了模型压缩、知识蒸馏、量化和低秩分解等方法来提高LLM的效率。这个全面的调查是一种重要工具,可以提供关于LLM效率现状的丰富的有价值洞察。

Leave a Comment