2952 search results for "模型"

“`html 世界模型是一种旨在构建对环境的内部了解并利用这些知识来预测该空间内未来事件的人工智能系统。研究人员主要在受控环境中测试这些世界模型，如视频游戏或特定任务，例如驾驶。最终目标是雄心勃勃的 – 创建可以处理遇到的各种情况的模型，这些情况在不可预测的现实世界中发生。 早期尝试创建这种系统的一个例子是Gen-2视频生成系统。它就像一个初入行的艺术家，试图制作展示基本物体运动理解的短视频。然而，它在更复杂的任务中有困难，对于涉及快速相机移动或复杂物体行为的情景挣扎不已。这揭示了当前世界模型的局限性，促使研究人员深入研究和改进这些系统。 构建有效的世界模型之路面临着几个挑战。一个关键方面是这些模型需要生成准确一致的环境地图。它不仅仅是识别运动，还要在给定空间内进行导航和互动。此外，这些模型不仅必须理解世界的动态，还必须理解和模拟其居民的行为，包括真实的人类行为。这个多方面的挑战需要不断的研究和创新。 研究人员正在积极努力克服这些挑战，致力于增强世界模型的适应性和能力。就像升级视频游戏中的角色一样 – 这些模型需要在生成可靠的地图和在不同复杂情景中进行导航时进行升级。目标是使它们具备处理现实世界的不可预测性的能力。 为了衡量这些世界模型的有效性，研究人员采用了一些度量标准。这些度量标准衡量了模型生成一致准确地图的能力，其在不同环境中导航的熟练程度以及其对人类行为的逼真模拟。这些可量化的测量方法作为基准，让研究人员评估这些不断发展的世界模型的进展和能力。 总之，开发通用世界模型是一个充满挑战和令人兴奋前景的持续过程。随着研究人员不断完善这些模型，承诺在各种现实情景中进行更好的模拟和预测。这些模型的演变不仅推动了人工智能能力的界限，还有可能深入理解复杂环境并改进人工智能与我们的动态世界的互动。 The post General World Models: Runway AI Research Starting a New Long-Term Research Effort…

自然语言处理（NLP）在过去几个月里取得了长足的进步，尤其是引入了大型语言模型（LLM）。像GPT、PaLM、LLaMA等模型由于其在文本生成、摘要生成和问题回答等多种NLP任务方面的能力，已经获得了很大的流行度。研究人员一直致力于将LLM的力量用于医疗领域。 医疗LLM包括ChatDoctor、MedAlpaca、PMC-LLaMA、BenTsao、MedPaLM和Clinical Camel，用于改善患者护理和支持医疗从业人员。尽管当前的医疗LLM已经显示出良好的结果，但仍然存在一些需要解决的挑战。许多模型忽视了类似对话和问答等临床环境中的生物医学NLP任务的实际价值。医疗LLM在诸如电子病历（EHR）、出院小结生成、健康教育和护理计划等临床情景中的潜力已成为最近努力的研究课题；然而，这些模型经常缺乏共同的评估数据集。 另一个缺点是目前使用的大多数医疗LLMs仅根据其回答医疗问题的能力来评估候选人，忽视了其他重要的生物医学任务，如信息检索、文本生成、关系抽取和文本摘要。为了克服这些问题，一组研究人员在探索医疗LLM的不同方面时进行了一项研究，回答了以下五个主要问题。 创建医疗LLMs：第一个问题旨在调查创建医疗LLMs的方法和因素。这包括理解创建这些模型背后的思想，以及它们的结构、训练集和其他相关要素。 评估医疗LLMs在下游任务中的表现：第二个问题集中于评估医疗LLMs在实际情况下的实际结果或表现。这包括评估这些模型在真实世界情况下的表现，特别是在临床医学相关任务方面。 在实际临床实践中使用医疗LLMs：第三个问题探讨了医疗LLMs在临床环境中的实际使用情况。这包括调查如何将这些模型纳入医疗从业人员的常规工作流程中，以改善沟通、决策和患者护理。 应用医疗LLMs带来的问题：第四个问题认识到使用医疗LLMs存在障碍，就像使用任何其他技术一样。为了在医疗环境中负责任地和成功地实施这些模型，可能需要解决一些障碍，包括道德问题、模型中的潜在偏见和可解释性问题。 成功构建和应用医疗LLMs：最后一个问题询问未来，以阐明改进医疗LLMs的设计和应用，以确保医疗LLMs继续成为医疗行业中有用的工具。 总之，本调查广泛分析了医疗领域中的LLMs。它总结了从10种不同的生物医学活动中获得的评估，并详细概述了它们的应用。通过解决关键问题，该研究旨在提供对医疗LLMs的全面了解，鼓励更深入的分析、团队合作和医疗AI领域的更快发展。

语言模型的发展一直以来都是在大模型能够拥有更高性能的前提下进行的。然而，打破这一既定信念，微软研究院的机器学习基础团队的研究人员推出了参数为27亿的全新语言模型Phi-2，这一模型正颠覆着长期主导这一领域的传统扩展规则，挑战了“模型大小决定语言处理能力”的普遍观念。 这项研究打破了关于超卓性能必须依赖更大模型的普遍假设。研究人员将Phi-2引入视为范式转变，超越常规。文章揭示了Phi-2的独特特点以及其开发中采用的创新方法。Phi-2摒弃常规方法，依赖精心策划的高质量训练数据，并利用较小模型的知识传递，对语言模型扩展的既定规则构成了巨大挑战。 Phi-2方法的核心在于两项关键性发现。首先，研究人员强调了训练数据质量的重要作用，使用“教科书级”数据精心设计，使模型获得推理、知识和常识的能力。其次，采用创新技术实现了模型洞察力的高效扩展，从13亿参数的Phi-1.5开始。文章深入探讨了Phi-2的架构，这是一个基于Transformer的模型，以下一个单词预测为目标，在合成和网络数据集上进行训练。令人惊讶的是，尽管规模较小，Phi-2在各种基准测试中超越了更大的模型，突显了其高效性和出色能力。 总之，来自微软研究院的研究人员将Phi-2推崇为语言模型发展中的一股变革力量。这一模型不仅挑战了，而且成功推翻了业界对模型能力与大小本质相关的长期信念。这种范式转变鼓励了新的视角和研究方向，强调了不完全遵循常规扩展规则时所能实现的高效性。Phi-2独特的高质量训练数据和创新的扩展技术，标志着自然语言处理迈向前沿，并为未来带来了新的可能性和更安全的语言模型。 本文首发于Microsoft AI团队推出Phi-2：一个参数为27亿的小型语言模型，展示出卓越的推理和语言理解能力，转载请注明出处。

“`html 在不断发展的技术进步领域中，语言模型已成为不可或缺的一部分。这些由先进的人工智能驱动的系统增强了我们与数字平台的互动。语言模型旨在理解和生成类似人类的文本，弥合了人类沟通与机器理解之间的差距。技术的进步引领着一个数字时代，语言模型在信息处理、沟通和问题解决中扮演越来越重要的角色。 最近，Deci推出了DeciLM-7B，这是一种具有高精度和速度的创新模型，适用于70亿参数级别。这个模型在Apache 2.0许可下，处于新一代语言模型的前沿，拥有70亿参数级别中无与伦比的准确性和速度。该模型是语言处理领域的一种增量革新和变革性力量。 在“开放语言模型排行榜”上，DeciLM-7B显示出令人印象深刻的平均得分为61.55。这表明DeciLM-7B是70亿参数级别中最先进的基础语言模型，提供了在各种应用中改进的准确性和可靠性。Mistral 7B在诸多基准测试中表现优异，包括Arc、HellaSwag、MMLU、Winogrande和GSM8K等。 DeciLM-7B不仅准确，而且速度出色。与Mistral 7B相比，它的吞吐量增加了83%，与Llama 2 7B相比增加了139%。DeciLM-7B提高了语言模型的效率标准。PyTorch基准测试突显了其在吞吐量上优于Mistral 7B和Llama 2 7B，分别显示出1.83倍和2.39倍的增加。 DeciLM-7B与Infery和Dec开发的推理SDK相互协作，相对于具有vLLM的Mistral 7B，能够提供4.4倍的速度提升，为成本效益高、大量用户交互提供机会。 DeciLM-7B利用NAS的引擎AutoNAC。该模型采用了变量分组查询注意力。在顶级的70亿参数大型语言模型中，该模型在没有复杂的偏好优化方法的情况下表现出色。研究人员强调，DeciLM-7B和Infery-LLM具有在多个行业引发革命性变革的潜力。它们在提供实时聊天机器人的高容量客户服务方面提升了智能度、响应度和可负担性，并在医疗、法律、市场营销和金融等文本密集型专业领域中实现了工作流自动化的革新。 总之，DeciLM-7B在大型语言模型中具有重要作用。它不仅在准确性和效率方面出类拔萃，还在可访问性和多功能性方面表现出众。随着技术的不断进步，像DeciLM-7B这样的模型在塑造数字世界方面变得更加重要。它们给我们提供了一个令人兴奋的前景，展示了无数未来可能性的一瞥。随着技术的进步，这些模型变得越来越重要，为我们提供了数字领域中众多选择的引人入胜且广阔的预览。 “`

大型语言模型领域迎来了一个重要的跨越，Mixtral 8x7b的到来。Mistral AI开发了这个具有卓越能力和独特架构的新模型。它用稀疏的Expert混合（MoE）层取代了前馈层，这是变换器模型中的一种创新方法。 Mixtral 8x7b 在一个框架内拥有八个专家模型。这个模型是一个专家混合模型（MoE），使Mixtral能够实现卓越的性能。 专家混合技术可以使模型的预训练所需的计算能力大大减少。这意味着可以显著增加模型或数据集的大小而不增加计算预算。 在MoE层中引入了路由器网络，它可以高效选择处理哪些令牌的专家。尽管与含有12B参数的密集模型相比，Mixtral的模型拥有四倍的参数，但由于每个时间步选择了两个专家，因此可以快速解码。 Mixtral 8x7b具有32,000个令牌的上下文长度容量，优于Llama 2 70B，并在各种基准测试中展现出与GPT3.5相媲美或更好的结果。研究人员表示，该模型具有适用于各种应用的多功能性。它可以多语言操作，并展现其在英语、法语、德语、西班牙语和意大利语方面的流利性。其编码能力也非常出色；在HumanEval测试中得分40.2%，巩固了它作为一个全面的自然语言处理工具的地位。 Mixtral Instruct在MT-Bench和AlpacaEval等行业标准上表现出色。它在MT-Bench上的表现超过其他公开模型，并与GPT-3.5相匹配。尽管参数达到70亿，但该模型的性能类似于八个模型的集合。虽然它可能没有达到560亿参数的规模，但总参数数约为450亿。此外，Mixtral Instruct在指导和聊天模型领域表现出色，表达了其优势。 Mixtral Instruct的基本模型没有与其他基本模型对齐的特定提示格式。这种灵活性允许用户顺畅地扩展输入序列，获得合理的延续或将其用于零样本/少样本推理。 然而，有关预训练数据集的维度、组成和预处理方法的完整信息仍需进一步提供。同样，仍不知道对Mixtral instruct模型的DPO（域预提供目标）和SFT（部分微调）使用了哪些微调数据集和相关超参数。 总结一下，Mixtral 8x7b通过结合性能、适应性和创造力改变了语言模型的游戏规则。当AI社区继续研究和评估Mistral的架构时，研究人员迫切希望看到这种先进语言模型的影响和应用。MoE的8x7B能力可能为科学研究和发展、教育、医疗保健和科学开辟新的机遇。 这篇文章Meet Mixtral 8x7b: The…

训练大型变压器模型面临重大挑战，尤其是在追求具有数十亿甚至数万亿参数的模型时。主要障碍在于如何在多个GPU上高效分配工作负载，同时减轻内存限制。当前的情况依赖于复杂的大型语言模型（LLM）扩展框架，如Megatron、DeepSpeed、NeoX、Fairscale和Mosaic Foundry。然而，随着模型大小的增加，这些框架引入了相当大的复杂性。讨论的研究介绍了Cerebras的gigaGPT作为解决这些挑战的新颖方法，提供了一种消除对复杂并行化技术的需要的替代方法。 对于训练大型变压器模型，像Megatron和DeepSpeed这样的方法依赖于多GPU之间的分布式计算。然而，随着模型大小超过几十亿个参数，这些方法会遇到内存限制，需要复杂的解决方案。相比之下，Cerebras的gigaGPT引入了一种范式转变。它实现了nanoGPT，它具有仅565行的非常紧凑的代码库。这个实现可以训练具有超过1000亿个参数的模型，而无需额外的代码或依赖第三方框架。GigaGPT利用了Cerebras硬件的大量内存和计算能力。与其同行不同的是，它可以无缝操作而不引入额外的复杂性，既提供了简洁可靠的代码库，又能够训练GPT-3规模的模型。 GigaGPT在其核心是实现了基本的GPT-2架构，与nanoGPT的原则紧密对齐。它使用了学习的位置嵌入、标准的自注意力机制、模型中的偏置以及模仿nanoGPT的结构的选择。值得注意的是，该实现不仅适用于特定的模型大小；gigaGPT通过训练具有111M、13B、70B和175B个参数的模型，证明了它的多功能性。 与GPT-2分词器和nanoGPT的预处理代码配合使用的OpenWebText数据集成为测试基础。GigaGPT的性能得到了证明，它可以从数百万个参数的模型扩展到具有数百亿个参数的模型，而不需要专门的并行化技术。这565行代码涵盖了整个代码库，展示了其简单和高效。 该实现的成功在特定的模型配置中得到了进一步的体现。例如，111M配置与Cerebras-GPT相一致，保持了相同的模型维度、学习率、批量大小和训练计划。类似地，13B配置与相应的Cerebras-GPT配置相匹配，70B配置借鉴了Llama-2 70B。70B模型保持了稳定性和性能，展示了其可扩展性。在验证了70B模型之后，研究人员通过配置基于GPT-3论文的175B模型来推动界限。最初的步骤展示了该模型在处理增加的规模时的内存问题，暗示了gigaGPT可能扩展到超过1万亿个参数的模型。 总之，gigaGPT成为训练大型变压器模型的一项突破性解决方案。研究团队的实施不仅通过提供简洁和易于操作的代码库简化了过程，还使得训练GPT-3规模的模型成为可能。利用Cerebras硬件的广阔记忆和计算能力，标志着在使大规模AI模型训练更加可访问、可扩展和高效方面的重要进步。这种创新的方法为机器学习研究人员和从业者解决训练大规模语言模型中的复杂性提供了一个有前途的途径。 Introducing gigaGPT: our implementation of @karpathy’s nanoGPT that trains GPT-3 sized models in just 565 lines of…

著名的大型语言模型（LLMs）如GPT，BERT，PaLM和LLaMA在自然语言处理（NLP）和自然语言生成（NLG）领域取得了一些重大进展。这些模型在大型文本语料库上进行了预训练，并在多个任务中表现出令人难以置信的性能，包括问答，内容生成，文本摘要等。 虽然LLMs已被证明能够处理纯文本，但在文本数据与图形的结构信息相连的应用中，处理图形推理任务变得越来越必要。研究人员一直在研究LLMs如何应用于基本图形推理任务，包括匹配子图，最短路径和连接推理。与LLMs的整合相关的图形应用包括纯图形，文本丰富的图形和文本配对的图形，具体的技术包括将LLMs用作任务预测器，图形神经网络（GNNs）的特征编码器或与GNNs对齐器，具体取决于它们的功能和与GNNs的交互。 LLMs在基于图形的应用中越来越受欢迎。但是，鲜有研究探讨LLMs和图形之间的相互作用。在最近的研究中，一组研究人员提出了一种系统地概述了大型语言模型与图形整合的情况和方法。目的是将可能的情况分为三个主要类别：文本丰富的图形，文本配对的图形和纯图形。团队分享了使用LLMs在图形上的具体方法，例如将LLMs用作对齐器，编码器或预测器。每种策略都有其优势和缺点，研究的目的是对比这些不同的方法。 该团队强调了这些技术的实际应用，展示了在与图形相关的活动中使用LLMs的好处。该团队分享了有关基准数据集和开源脚本的信息，以帮助应用和评估这些方法。结果强调了对这一快速发展领域进行更多调查和创造性的需求。 该团队总结了他们的主要贡献如下。 该团队通过系统分类使用语言模型在图形中的情况进行了贡献。这些情况被分为三类：文本丰富，文本配对和纯图形。这个分类法提供了一个理解这些不同环境的框架。 使用图形方法仔细分析了语言模型。评估总结了适用于各种图形环境的代表性模型，使其成为最全面的评估。 整理了与语言模型在图形上相关的大量材料，包括真实世界应用，开源代码库和基准数据集。 在语言模型在图形领域进一步研究方向上提出了六个可能的方向，深入探讨了基本理念。

总部位于巴黎的初创公司Mistral AI推出了一款语言模型——MoE 8x7B。Mistral LLM经常被比作缩小版的GPT-4，它由8个拥有每个拥有70亿参数的专家组成。值得注意的是，在每个记号的推理中，只有其中的2个专家会被使用，展示了一种简化而高效的处理方式。 该模型采用混合专家（MoE）架构，以实现令人印象深刻的性能和效率。与传统模型相比，这使得性能更高、效率更优。研究人员强调，MoE 8x7B在文本生成、理解以及需要高级处理的编码和SEO优化等任务方面，表现比之前的模型（例如Llama2-70B和Qwen-72B）更好。 这在AI社区引起了很大轰动。著名的AI咨询师和以色列机器学习和深度学习社区的创始人表示，Mistral以此类发布闻名，并将其视为业界的特色。开源AI倡导者Jay Scambler指出了发布的不寻常之处。他表示，它成功地引起了极大关注，暗示这可能是Mistral故意采取的一种策略，以吸引AI社区的关注和好奇。 Mistral在AI领域的发展过程中也取得了里程碑式的成就，包括拿下创纪录的1.18亿美元种子轮融资，该轮融资被报道为欧洲历史上最大的融资规模。该公司在9月推出了其首个大型语言AI模型Mistral 7B，进一步获得了认可。 MoE 8x7B模型拥有8个专家，每个专家拥有70亿参数，相比之下，GPT-4每个专家拥有16个专家和1660亿参数。与估计的GPT-4的1.8万亿参数相比，该模型的估计总参数为420亿。此外，MoE 8x7B对语言问题有更深入的理解，从而改进了机器翻译、聊天机器人交互和信息检索。 MoE架构允许更高效的资源分配，从而实现更快的处理速度和更低的计算成本。Mistral AI的MoE 8x7B标志着语言模型发展的重大进步。其卓越的性能、效率和多样性为各个行业和应用领域带来了巨大的潜力。随着AI的不断发展，像MoE 8x7B这样的模型预计将成为寻求增强数字专长和内容策略的企业和开发者的重要工具。 总之，Mistral AI的MoE 8x7B发布引入了一种结合了技术复杂性和非传统营销策略的新颖语言模型。研究人员对这种尖端语言模型的效果和用途感到兴奋，AI社区将继续审查和评估Mistral的架构。MoE 8x7B的能力可能会为教育、医疗保健和科学发现等各个领域的研究和发展开辟新的道路。

来自Google DeepMind、斯坦福大学和加州大学伯克利分校的研究人员开发了一个名为Code Chain的代码链，旨在解决提高语言模型的代码驱动推理能力的问题。Code Chain鼓励将语义子任务以灵活的伪代码格式化为程序，解释器可以明确捕捉到未定义行为，并交给模拟器（作为“LMulator”）来模拟。Code Chain在使用大型和小型模型时都具有良好的扩展性，并通过以编码思维回答问题来扩大语言模型能够正确回答的推理问题的范围。 类似于Chain of Thought、least-to-most和ScratchPad等工作利用提示来改善推理，通过将任务分解为中间步骤或跟踪中间结果来进行。在Github上训练的语言模型被提示编写和执行代码，这有助于解决涉及数字或符号推理的复杂问题。 为了解决给定的问题，Code Chain在代码结构中生成推理子步骤。这段代码提供了推理的框架，可以是明确的代码、伪代码或自然语言形式。Code Chain通过将代码的优点与语言模型的强大语义和常识知识相结合，使代码在全新的领域中得以使用，可以轻松表达在代码中难以表达的规则（例如，哪些食物是水果？）。 Code Chain的核心贡献不仅仅是生成推理代码，而是如何执行它。代码编写完毕后，尝试通过代码解释器执行代码-在这项研究中，研究人员考虑了Python，但这种方法对任何解释器都是通用的。如果代码成功执行，则更新程序状态并继续执行。如果代码无法执行或引发任何异常，则使用语言模型来模拟执行。语言模型的输出更新程序状态，并继续执行。 Code Chain方法的整体性能优于其他方法，在超过的任务数量和整体超过基准线的数量上超过人类基准线。Code Chain在几项研究中取得了最新成果。与Chain of Thought提示相似，随着模型大小的增加，性能有所提高。跨任务提示导致所有方法的性能下降，但Code Chain在大规模上仍然优于Chain of Thought和直接提示，接近人类的平均性能。 Code Chain是通过编写代码和使用解释器执行代码或使用模拟执行的语言模型，以在语言模型中进行推理的方法。Code Chain可以利用规则的表达结构和强大的工具。此外，通过模拟非可执行代码的执行，Code Chain可以应用于正常情况下不涉及代码的问题（例如，语义推理问题）。

随着人工智能的不断发展，自然语言处理、自然语言生成和计算机视觉这些领域最近取得了巨大的流行，这都要归功于大型语言模型的引入。扩散模型在生成文本到语音合成（TTS）方面已经证明非常成功，显示出了很高的生成质量。然而，它们的先验分布受限于引入噪声并对所需生成目标提供很少信息的表示形式。 最近的研究中，清华大学和微软亚洲研究院的研究人员团队介绍了一种名为Bridge-TTS的新的文本到语音系统。这是首次尝试在已建立的扩散式TTS方法中利用干净可预测的替代方法替代噪声高斯先验。该替代先验提供了有关目标的强结构信息，并从文本输入提取的潜在表示中获取。 该团队表示，主要贡献在于开发出了一个完全可管理的薛定谔桥，它连接了真实的梅尔谱图和干净的先验。建议的Bridge-TTS使用的是一种数据到数据的过程，这比起扩散模型的数据到噪声过程改善了先前分布的信息内容。 该团队已经对这种方法进行了评估，并在LJ-Speech数据集上进行了实验验证，评估结果突出显示了建议方法的有效性。在50步骤/1000步骤合成设置中，Bridge-TTS表现出比扩散对应方法Grad-TTS更好的性能。它甚至在少量步骤的情况下比强大且快速的TTS模型表现更好。Bridge-TTS方法的主要优势在于合成质量和采样效率。 该团队总结了主要贡献如下。 从无污染的文本潜在表示中产生了梅尔谱图。与传统的数据到噪声过程不同，这个作为扩散模型上下文中的条件信息的表示形式被设计成无噪声。薛定谔桥被用来研究数据到数据的过程。 针对配对数据，提出了一个完全可计算的薛定谔桥。这个桥使用柔性形式的参考随机微分方程（SDE）。这种方法允许对设计空间进行实证调查，并提供了一个理论解释。 研究了采样技术、模型参数化和噪声调度如何对改善TTS质量发挥作用。还实现了不对称噪声调度、数据预测和一阶桥采样器。 完全可计算的薛定谔桥使得对底层过程的完整理论解释成为可能。通过实证研究，我们可以了解到不同因素如何影响TTS的质量，包括不对称噪声调度、模型参数化决策和采样过程的效率。 该方法在推理速度和生成质量方面取得了很好的结果。在1000步和50步的生成情况下，它明显优于基于扩散的Grad-TTS。它在4步生成中也优于FastGrad-TTS，优于基于transformer的模型FastSpeech 2和最先进的蒸馏方法CoMoSpeech在2步生成中。 该方法仅经过一次训练就取得了出色的结果。这种效率在创作过程的多个阶段都可见，展示了建议方法的可靠性和效力。