5 search results for "Slurm"

准备好提升您的数据科学技能并使用强大的GPU集群了吗？这篇文章是完美的入门指南🚀

近年来，训练规模越来越大的语言模型已成为常态。虽然关于这些模型没有被释放供进一步研究的问题经常被讨论，但如何训练这些模型的隐藏知识很少受到关注。本文旨在通过以1760亿参数语言模型BLOOM为例，揭示训练这类模型的技术和工程背后的硬件和软件的一些光芒。 但首先，我们想感谢那些使一个小团队能够训练一个1760亿参数模型的公司、关键人物和团队。 然后将讨论硬件设置和主要技术组成部分。 下面是项目的一个简要概述： 人物 该项目由Thomas Wolf（Hugging Face的联合创始人兼CSO）构思，他不仅敢于与这些巨头公司竞争，训练出一种最大的多语种模型，而且还使最终结果对所有人都可访问，从而使大多数人的梦想变为现实。 本文专注于模型训练的工程方面。BLOOM背后技术最重要的部分是那些分享他们的专业知识并帮助我们进行编码和训练的人和公司。 有6个主要的感谢人员群体： HuggingFace的BigScience团队，他们有超过半打全职员工致力于从构想到完成训练，并提供和支付了除了Jean Zay计算机之外的所有基础设施。 Microsoft DeepSpeed团队，他们开发了DeepSpeed并将其与Megatron-LM集成，他们的开发人员在项目需求上花费了很多周的时间，并在训练之前和之中提供了很多令人惊叹的实践建议。 NVIDIA Megatron-LM团队，他们开发了Megatron-LM，并在回答我们的众多问题和提供一流的实践建议方面非常有帮助。 IDRIS / GENCI团队管理Jean Zay超级计算机，他们向该项目捐赠了大量计算资源并提供了出色的系统管理支持。 PyTorch团队创建了一个非常强大的框架，其他软件都是基于它的，他们在训练准备期间对我们非常支持，修复了多个错误并改进了我们在训练期间依赖的PyTorch组件的可用性。 BigScience工程工作组的志愿者 很难列出为项目的工程方面做出贡献的所有杰出人士，所以我只会列出Hugging Face之外的一些关键人物，他们是该项目在过去14个月中的工程基础： Olatunji…