52 search results for "Trainer"

“就像第一次编写的代码中不可能没有错误一样，第一次训练出完全正确的模型也是不可能的那些…”

在过去的几个月里，我们对我们的transformers和tokenizers库进行了一些改进，目标是让从头开始训练一个新的语言模型变得比以往更容易。 在这篇文章中，我们将演示如何在Esperanto上训练一个“小”模型（84 M参数=6层，768隐藏大小，12个注意力头）-与DistilBERT相同数量的层和头。然后，我们将对该模型进行下游的词性标注任务微调。 Esperanto是一种目标是易于学习的构造语言。我们选择它作为演示的原因有几个： 它是一种相对较低资源的语言（尽管有大约200万人使用），所以这个演示比训练另一个英语模型不那么无聊😁 它的语法非常规则（例如，所有普通名词以-o结尾，所有形容词以-a结尾），因此即使在一个小数据集上，我们也应该获得有趣的语言结果。 最后，该语言的根本目标是使人们更加接近（促进世界和平和国际理解），可以说这与NLP社区的目标是一致的💚 注意：您不需要了解Esperanto就能理解本文，但如果您想学习它，Duolingo有一个有280,000个活跃学习者的不错课程。 我们的模型将被称为…等待…EsperBERTo😂 1. 找到一个数据集 首先，让我们找到一个包含Esperanto文本的语料库。在这里，我们将使用INRIA的OSCAR语料库中的Esperanto部分。OSCAR是通过对Web的Common Crawl转储进行语言分类和过滤而获得的一个巨大的多语言语料库。 数据集的Esperanto部分只有299M，所以我们将与Leipzig Corpora Collection的Esperanto子语料库连接在一起，该语料库由来自新闻、文学和维基百科等多种来源的文本组成。 最终的训练语料库的大小为3 GB，这仍然很小-对于您的模型来说，您能够获得的数据越多，预训练效果就会更好。 2. 训练一个分词器 我们选择训练一个字节级的Byte-pair编码分词器（与GPT-2相同），使用与RoBERTa相同的特殊标记。让我们随意将其大小设为52,000。 我们建议训练一个字节级的BPE（而不是像BERT那样使用WordPiece分词器），因为它将从一个由单个字节组成的字母表开始构建其词汇表，所以所有的单词都可以分解为标记（不再有<unk>标记！）。 #! pip install…

夏天正式结束了，过去的几个月里，Hugging Face非常忙碌。从Hub上的新功能到研究和开源开发，我们的团队一直在努力通过开放和协作的技术来赋能社区。 在这篇博客文章中，您将了解到Hugging Face在六月、七月和八月发生的一切！ 本文涵盖了我们团队一直在努力的各个领域，所以请随意跳到您最感兴趣的部分🤗 新功能 社区 开源 解决方案 研究 新功能 在过去的几个月里，Hub的公共模型仓库从10,000个增加到了16,000多个！感谢我们的社区与世界分享了这么多令人惊叹的模型。除了数量，我们还有很多很酷的新功能要与您分享！ Spaces Beta ( hf.co/spaces ) Spaces是一个简单且免费的解决方案，可以直接在您的用户个人资料或您的组织hf.co个人资料上托管机器学习演示应用程序。我们支持两个很棒的Python SDK，让您可以轻松构建酷炫的应用程序：Gradio和Streamlit。只需几分钟，您就可以部署一个应用程序并与社区分享！🚀 Spaces可以设置秘密，允许自定义要求，甚至可以直接从GitHub仓库进行管理。您可以在hf.co/spaces上注册beta版本。以下是我们的一些收藏！ 使用Chef Transformer创建食谱 使用HuBERT将语音转写为文本 在视频中进行分割，使用DINO模型 使用Paint…

基于Transformer的编码器-解码器模型最初在Vaswani等人（2017）的论文中提出，并最近引起了广泛的关注，例如Lewis等人（2019），Raffel等人（2019），Zhang等人（2020），Zaheer等人（2020），Yan等人（2020）。 与BERT和GPT2类似，大规模预训练的编码器-解码器模型已经显示出在各种序列到序列任务上显著提升性能（Lewis等人，2019；Raffel等人，2019）。然而，由于预训练编码器-解码器模型所需的巨大计算成本，这类模型的开发主要局限于大型公司和研究机构。 在《利用预训练检查点进行序列生成任务》（2020）一文中，Sascha Rothe、Shashi Narayan和Aliaksei Severyn使用预训练的编码器和/或解码器检查点（如BERT、GPT2）初始化编码器-解码器模型，跳过了昂贵的预训练过程。作者表明，这种热启动的编码器-解码器模型在训练成本的一小部分情况下，能够产生与T5和Pegasus等大规模预训练编码器-解码器模型相竞争的结果，适用于多个序列到序列任务。 在本笔记本中，我们将详细解释如何热启动编码器-解码器模型，并根据Rothe等人（2020）提供实用提示，最后通过一个完整的代码示例展示如何使用🤗Transformers来热启动编码器-解码器模型。 本笔记本分为4个部分： 介绍 – 简要介绍NLP中的预训练语言模型以及热启动编码器-解码器模型的需求。 热启动编码器-解码器模型（理论） – 对编码器-解码器模型如何进行热启动进行说明。 热启动编码器-解码器模型（分析） – 《利用预训练检查点进行序列生成任务》的总结 哪些模型组合对于热启动编码器-解码器模型有效？它在不同任务中有何不同？ 使用🤗Transformers热启动编码器-解码器模型（实践） – 完整的代码示例，详细展示如何使用EncoderDecoderModel框架来热启动基于Transformer的编码器-解码器模型。 强烈推荐（可能甚至是必须的）阅读有关基于Transformer的编码器-解码器模型的博客文章。 让我们从对热启动编码器-解码器模型的背景介绍开始。 介绍 最近，预训练语言模型1…

Hugging Face研究员Stas Bekman的客座博客文章 随着最近的机器学习模型增长速度远远超过新发布的显卡GPU内存的增加速度，许多用户无法在他们的硬件上训练甚至只是加载其中一些庞大的模型。虽然目前正在努力将其中一些庞大的模型精简为更易管理的大小，但这一努力并没有及时产生足够小的模型。 2019年秋季，Samyam Rajbhandari、Jeff Rasley、Olatunji Ruwase和Yuxiong He发表了一篇论文：《ZeRO: Memory Optimizations Toward Training Trillion Parameter Models》，该论文中包含了许多关于如何使硬件做出比之前认为可能的更多事情的巧妙新想法。不久之后，DeepSpeed被发布，它为世界提供了该论文中大部分想法的开源实现（其中一些想法仍在进行中），与此同时，Facebook的一个团队发布了FairScale，该团队也实现了ZeRO论文中的一些核心思想。 如果您使用Hugging Face Trainer，在transformers v4.2.0版本中，您可以实验性地支持DeepSpeed和FairScale的ZeRO功能。新的–sharded_ddp和–deepspeed命令行Trainer参数分别提供了FairScale和DeepSpeed的集成。这是完整的文档。 本博客文章将介绍您如何从ZeRO中受益，无论您是否只拥有单个GPU还是整个GPU堆栈。 让我们使用t5-large模型和transformers GitHub仓库中examples/seq2seq下的finetune_trainer.py脚本进行一个小的微调翻译任务实验。 我们有2x 24GB（Titan…