18 search results for "PyTorch Lightning"

“参数高效微调指南，涵盖了LoRa、LLaMA-Adapter、P-Tuning、prompt tuning、prefix tuning、AdaLoRa、IA3、Adapters、soft prompts等”

“就像第一次编写的代码中不可能没有错误一样，第一次训练出完全正确的模型也是不可能的那些…”

Graphcore和Hugging Face显著扩展了Hugging Face Optimum中可用的机器学习模态和任务范围，这是一个用于优化Transformer性能的开源库。开发人员现在可以方便地访问各种现成的Hugging Face Transformer模型，并经过优化以在Graphcore的IPU上提供最佳性能。 在Optimum Graphcore推出后不久推出的BERT Transformer模型，开发人员现在可以访问包括自然语言处理（NLP）、语音和计算机视觉在内的10个模型，这些模型配有IPU配置文件以及准备好的预训练和微调模型权重。 新的Optimum模型 计算机视觉 ViT（Vision Transformer）是图像识别的突破性技术，它使用Transformer机制作为其主要组件。当图像输入到ViT中时，它们被划分为小块，类似于语言系统中处理单词的方式。每个块都由Transformer（嵌入）进行编码，然后可以单独处理。 自然语言处理（NLP） GPT-2（生成型预训练Transformer 2）是一个在大规模英语语料库上进行自我监督预训练的文本生成Transformer模型。这意味着它仅在原始文本上进行预训练，没有以任何方式对其进行人工标记（这就是为什么它可以使用大量公开可用的数据），它使用自动化过程从这些文本中生成输入和标签。更准确地说，它通过猜测句子中下一个单词来训练生成文本。 RoBERTa（鲁棒优化BERT方法）是一个在大规模英语语料库上进行自我监督预训练的Transformer模型，类似于GPT-2。更准确地说，RoBERTa使用了掩码语言建模（MLM）目标进行预训练。给定一个句子，模型会随机掩盖输入中的15%单词，然后将整个掩码句子输入模型，并预测掩盖的单词。RoBERTa可以用于掩码语言建模，但主要用于在下游任务上进行微调。 DeBERTa（具有解耦注意力的解码增强BERT）是用于NLP任务的预训练神经语言模型。DeBERTa使用两种新颖技术（解耦注意力机制和增强掩码解码器）对2018年的BERT和2019年的RoBERTa模型进行了改进，显著提高了模型的预训练效率和下游任务的性能。 BART是一个具有双向（类似BERT）编码器和自回归（类似GPT）解码器的Transformer编码器-解码器（seq2seq）模型。BART通过（1）使用任意的噪声函数破坏文本和（2）学习一个模型来重构原始文本进行预训练。BART在文本生成（例如摘要、翻译）的微调上特别有效，但在理解任务（例如文本分类、问答）上也表现良好。 LXMERT（从Transformer中学习跨模态编码器表示）是用于学习视觉和语言表示的多模态Transformer模型。它有三个编码器：对象关系编码器、语言编码器和跨模态编码器。它是通过一系列任务进行预训练，包括掩码语言建模、视觉-语言文本对齐、ROI特征回归、掩码视觉属性建模、掩码视觉对象建模和视觉问答目标。它在VQA和GQA视觉问答数据集上取得了最先进的结果。 T5（文本到文本转换Transformer）是一个革命性的新模型，可以将任何文本转换为用于翻译、问答或分类的机器学习格式。它引入了一个统一的框架，将所有基于文本的语言问题转换为文本到文本格式的迁移学习。通过这样做，它简化了在各种NLP任务中使用相同的模型、目标函数、超参数和解码过程的方式。 语音 HuBERT（隐藏单元BERT）是一个在音频上进行自我监督语音识别预训练的模型，它学习了连续输入上的声学和语言模型的组合。HuBERT模型在Librispeech（960h）和Libri-light（60,000h）基准测试中，使用10分钟、1小时、10小时、100小时和960小时的微调子集，要么与现有的wav2vec 2.0性能相匹配，要么有所改进。 Wav2Vec2是一个用于自动语音识别的预训练自我监督模型。Wav2Vec2使用一种新颖的对比预训练目标，从大量无标签的语音数据中学习强大的语音表示，然后在少量转录语音数据上进行微调，优于最佳的半监督方法，而且概念上更简单。…