四海吧 Posts

训练大型变压器模型面临重大挑战，尤其是在追求具有数十亿甚至数万亿参数的模型时。主要障碍在于如何在多个GPU上高效分配工作负载，同时减轻内存限制。当前的情况依赖于复杂的大型语言模型（LLM）扩展框架，如Megatron、DeepSpeed、NeoX、Fairscale和Mosaic Foundry。然而，随着模型大小的增加，这些框架引入了相当大的复杂性。讨论的研究介绍了Cerebras的gigaGPT作为解决这些挑战的新颖方法，提供了一种消除对复杂并行化技术的需要的替代方法。 对于训练大型变压器模型，像Megatron和DeepSpeed这样的方法依赖于多GPU之间的分布式计算。然而，随着模型大小超过几十亿个参数，这些方法会遇到内存限制，需要复杂的解决方案。相比之下，Cerebras的gigaGPT引入了一种范式转变。它实现了nanoGPT，它具有仅565行的非常紧凑的代码库。这个实现可以训练具有超过1000亿个参数的模型，而无需额外的代码或依赖第三方框架。GigaGPT利用了Cerebras硬件的大量内存和计算能力。与其同行不同的是，它可以无缝操作而不引入额外的复杂性，既提供了简洁可靠的代码库，又能够训练GPT-3规模的模型。 GigaGPT在其核心是实现了基本的GPT-2架构，与nanoGPT的原则紧密对齐。它使用了学习的位置嵌入、标准的自注意力机制、模型中的偏置以及模仿nanoGPT的结构的选择。值得注意的是，该实现不仅适用于特定的模型大小；gigaGPT通过训练具有111M、13B、70B和175B个参数的模型，证明了它的多功能性。 与GPT-2分词器和nanoGPT的预处理代码配合使用的OpenWebText数据集成为测试基础。GigaGPT的性能得到了证明，它可以从数百万个参数的模型扩展到具有数百亿个参数的模型，而不需要专门的并行化技术。这565行代码涵盖了整个代码库，展示了其简单和高效。 该实现的成功在特定的模型配置中得到了进一步的体现。例如，111M配置与Cerebras-GPT相一致，保持了相同的模型维度、学习率、批量大小和训练计划。类似地，13B配置与相应的Cerebras-GPT配置相匹配，70B配置借鉴了Llama-2 70B。70B模型保持了稳定性和性能，展示了其可扩展性。在验证了70B模型之后，研究人员通过配置基于GPT-3论文的175B模型来推动界限。最初的步骤展示了该模型在处理增加的规模时的内存问题，暗示了gigaGPT可能扩展到超过1万亿个参数的模型。 总之，gigaGPT成为训练大型变压器模型的一项突破性解决方案。研究团队的实施不仅通过提供简洁和易于操作的代码库简化了过程，还使得训练GPT-3规模的模型成为可能。利用Cerebras硬件的广阔记忆和计算能力，标志着在使大规模AI模型训练更加可访问、可扩展和高效方面的重要进步。这种创新的方法为机器学习研究人员和从业者解决训练大规模语言模型中的复杂性提供了一个有前途的途径。 Introducing gigaGPT: our implementation of @karpathy’s nanoGPT that trains GPT-3 sized models in just 565 lines of…

著名的大型语言模型（LLMs）如GPT，BERT，PaLM和LLaMA在自然语言处理（NLP）和自然语言生成（NLG）领域取得了一些重大进展。这些模型在大型文本语料库上进行了预训练，并在多个任务中表现出令人难以置信的性能，包括问答，内容生成，文本摘要等。 虽然LLMs已被证明能够处理纯文本，但在文本数据与图形的结构信息相连的应用中，处理图形推理任务变得越来越必要。研究人员一直在研究LLMs如何应用于基本图形推理任务，包括匹配子图，最短路径和连接推理。与LLMs的整合相关的图形应用包括纯图形，文本丰富的图形和文本配对的图形，具体的技术包括将LLMs用作任务预测器，图形神经网络（GNNs）的特征编码器或与GNNs对齐器，具体取决于它们的功能和与GNNs的交互。 LLMs在基于图形的应用中越来越受欢迎。但是，鲜有研究探讨LLMs和图形之间的相互作用。在最近的研究中，一组研究人员提出了一种系统地概述了大型语言模型与图形整合的情况和方法。目的是将可能的情况分为三个主要类别：文本丰富的图形，文本配对的图形和纯图形。团队分享了使用LLMs在图形上的具体方法，例如将LLMs用作对齐器，编码器或预测器。每种策略都有其优势和缺点，研究的目的是对比这些不同的方法。 该团队强调了这些技术的实际应用，展示了在与图形相关的活动中使用LLMs的好处。该团队分享了有关基准数据集和开源脚本的信息，以帮助应用和评估这些方法。结果强调了对这一快速发展领域进行更多调查和创造性的需求。 该团队总结了他们的主要贡献如下。 该团队通过系统分类使用语言模型在图形中的情况进行了贡献。这些情况被分为三类：文本丰富，文本配对和纯图形。这个分类法提供了一个理解这些不同环境的框架。 使用图形方法仔细分析了语言模型。评估总结了适用于各种图形环境的代表性模型，使其成为最全面的评估。 整理了与语言模型在图形上相关的大量材料，包括真实世界应用，开源代码库和基准数据集。 在语言模型在图形领域进一步研究方向上提出了六个可能的方向，深入探讨了基本理念。

总部位于巴黎的初创公司Mistral AI推出了一款语言模型——MoE 8x7B。Mistral LLM经常被比作缩小版的GPT-4，它由8个拥有每个拥有70亿参数的专家组成。值得注意的是，在每个记号的推理中，只有其中的2个专家会被使用，展示了一种简化而高效的处理方式。 该模型采用混合专家（MoE）架构，以实现令人印象深刻的性能和效率。与传统模型相比，这使得性能更高、效率更优。研究人员强调，MoE 8x7B在文本生成、理解以及需要高级处理的编码和SEO优化等任务方面，表现比之前的模型（例如Llama2-70B和Qwen-72B）更好。 这在AI社区引起了很大轰动。著名的AI咨询师和以色列机器学习和深度学习社区的创始人表示，Mistral以此类发布闻名，并将其视为业界的特色。开源AI倡导者Jay Scambler指出了发布的不寻常之处。他表示，它成功地引起了极大关注，暗示这可能是Mistral故意采取的一种策略，以吸引AI社区的关注和好奇。 Mistral在AI领域的发展过程中也取得了里程碑式的成就，包括拿下创纪录的1.18亿美元种子轮融资，该轮融资被报道为欧洲历史上最大的融资规模。该公司在9月推出了其首个大型语言AI模型Mistral 7B，进一步获得了认可。 MoE 8x7B模型拥有8个专家，每个专家拥有70亿参数，相比之下，GPT-4每个专家拥有16个专家和1660亿参数。与估计的GPT-4的1.8万亿参数相比，该模型的估计总参数为420亿。此外，MoE 8x7B对语言问题有更深入的理解，从而改进了机器翻译、聊天机器人交互和信息检索。 MoE架构允许更高效的资源分配，从而实现更快的处理速度和更低的计算成本。Mistral AI的MoE 8x7B标志着语言模型发展的重大进步。其卓越的性能、效率和多样性为各个行业和应用领域带来了巨大的潜力。随着AI的不断发展，像MoE 8x7B这样的模型预计将成为寻求增强数字专长和内容策略的企业和开发者的重要工具。 总之，Mistral AI的MoE 8x7B发布引入了一种结合了技术复杂性和非传统营销策略的新颖语言模型。研究人员对这种尖端语言模型的效果和用途感到兴奋，AI社区将继续审查和评估Mistral的架构。MoE 8x7B的能力可能会为教育、医疗保健和科学发现等各个领域的研究和发展开辟新的道路。