32 search results for "BART"

如果你错过了：我们在3月25日宣布与Amazon SageMaker合作，旨在更轻松地创建最先进的机器学习模型，并更快地发布尖端的NLP功能。 与SageMaker团队一起，我们构建了🤗优化的Transformers深度学习容器，以加速基于Transformers的模型训练。感谢AWS的朋友们！🤗 🚀 通过SageMaker Python SDK中的新HuggingFace估计器，您可以通过一行代码开始训练。 发布的博客文章提供了有关集成的所有信息，包括“入门”示例和文档、示例和功能的链接。 在此再次列出： 🤗 Transformers文档：Amazon SageMaker 示例笔记本 Hugging Face的Amazon SageMaker文档 Hugging Face的Python SDK SageMaker文档 深度学习容器 如果您对Amazon SageMaker不熟悉：“Amazon SageMaker是一项完全托管的服务，为每个开发人员和数据科学家提供快速构建、训练和部署机器学习（ML）模型的能力。SageMaker从机器学习过程的每个步骤中减轻了繁重的负担，使开发高质量模型更加容易。”[ REF…

介绍 欢迎来到引人入胜的生成式人工智能（Generative AI）框架的领域，这是创新和创造力在数字化领域的交织。生成式人工智能的力量不仅仅是一种技术奇迹。它是一种塑造我们与机器互动和产生内容方式的动态力量。想象一下：只需要一个提示，就能创造故事、图像，甚至整个世界。这不是魔法，而是人工智能的进化。 生成式人工智能不仅仅是一组算法；它是由在线数据的广阔领域驱动的创造力强大动力。想象一下，能够提示人工智能生成文本、图像、视频、声音和复杂的代码。随着GenAI的进一步学习和发展，它在各个行业的应用不断增加。秘密在于训练-复杂的数学和大量的计算能力相结合，教会人工智能预测结果，模仿人类的行为和创造。 进入生成式人工智能世界的旅程涉及解开其工作原理背后的神秘。神经网络如何识别模式以产生新内容？哪些基础模型支持诸如ChatGPT和DALL-E之类的工具？与我们一同探索生成式人工智能的复杂性，探索其用途和功能。介绍这一技术革命前沿的五个框架。这是一段机器给想象力注入生命的旅程，可能性无限，就像他们在数字画布上绘制一样。 提升你的生成式人工智能水平，学习实践。检查我们的 GenAI顶尖计划！ 什么是生成式人工智能框架？ 生成式人工智能框架是GenAI的支柱，为机器创建多样且与上下文相关的内容提供了基础设施。这些框架作为AI模型（如LLMs、GANs、VAEs）的指导原则，使它们能够理解庞大数据集中的模式。组织可以利用无监督和半监督学习方法的力量，通过使用这些框架来训练AI系统。这种训练为从自然语言处理到图像生成等任务奠定了基础，使机器能够解释提示。 LangChain LangChain是Harrison Chase的创新软件开发框架，专为GenAI专业人员量身打造。它有助于重塑日常任务和项目的格局。LangChain通过强调利用大型语言模型（LLMs）来提升AI系统的能力，简化了应用程序创建过程。基于MIT许可证的开源原则下，LangChain引入了一个标准化的接口，包括代理、内存和链。 LangChain的代理扮演重要角色，使LLMs能够做出明智的决策，为创建动态聊天机器人、游戏和各种应用铺平道路。内存功能非常宝贵，允许在对LLMs进行调用时保留状态。对于像聊天机器人这样的应用程序来说，这一功能成为了保持连贯对话或存储先前查询结果的基石。链条不仅限于单个LLM调用，还便于序列的编排-这对于构建摘要工具、问答系统和需要多方交互的不同应用程序来说是一个福音。 LangChain的数据增强生成功能增加了更多的灵活性，使GenAI专业人员能够根据外部数据生成文本。从编写引人入胜的新闻文章到制作产品描述，这个框架增强了内容生成的能力。 LangChain在各种应用中展示了其能力，包括客户服务和教育的聊天机器人，娱乐和研究的游戏，以及商业和教育的摘要工具和问答系统。它涵盖了各种应用，如内容生成、翻译、代码生成、数据分析和医学诊断。在GenAI专业人员的工具包中，LangChain推动着生成式人工智能不断演进的创新和效率。 LlamaIndex LlamaIndex成为GenAI专业人员武器库中至关重要的工具。它为自定义数据和GPT-4等LLMs之间提供了一个无缝的桥梁。这个创新的库通过简化与数据和LLMs一起工作的复杂过程，显著增强了GenAI专业人员的日常工作和项目。LlamaIndex的多功能实用性在不同阶段得到展现，在数据摄取、结构化、检索和集成方面提供了不可或缺的支持。 首先，LlamaIndex在从各种来源（如API、数据库、PDF或外部应用程序）“摄取”数据方面表现出色，充当勤奋的数据收集者。然后，它进入“构建”阶段，在这个阶段中，它以一种LLMs轻松理解的方式组织数据。这些组织良好的数据成为“检索”阶段的基础，在这个阶段中，LlamaIndex在需要时便于找到和提取正确的数据。最后，它简化了“集成”过程，实现了与各种应用框架的无缝合并数据。 LlamaIndex由三个主要组件组成：用于收集的“数据连接器”，用于组织的“数据索引”和作为翻译器的“引擎”（LLMs）。这种设置使GenAI专业人员在检索增强生成（RAG）方面拥有强大的能力，将LLM的实力与自定义数据相结合。查询引擎、聊天引擎和代理等模块化构建提升了交互到对话水平，实现了动态决策。无论是创建问答系统、聊天机器人还是智能代理，LlamaIndex都是GenAI专业人员的不可或缺的盟友，为RAG企业提供坚实的基础，并通过LLMs和定制数据来超级增强应用。 Jarvis 微软的JARVIS平台引领人工智能创新，为GenAI专业人员提供无与伦比的工具来增强日常工作。JARVIS与ChatGPT和t5-base等AI模型进行协作，实现统一和先进的结果。作为任务控制器，JARVIS简化了工作流程，最大限度地发挥了各种开源大型语言模型（LLMs）在图像、视频、音频等方面的潜力。 JARVIS集成了多模态人工智能，将GPT-4的功能扩展到文本和图像处理。该平台连接到互联网，访问一个强大的模型网络，包括t5-base、stable-diffusion 1.5、Facebook的bart-large-cnn和Intel的dpt-large等20个强大的模型。JARVIS使用户可以提交复杂的多任务查询，指导不同的模型无缝协作执行复杂的任务。例如，生成一张有关外星人入侵的图像，并在此过程中创作相关的诗歌，这个流程变得简化，ChatGPT规划任务，选择适当的模型并执行任务，展示了JARVIS的高效性和协作潜力。 虽然JARVIS的能力是无可否认的突破性，但其使用也需要考虑资源。JARVIS需要至少16GB的VRAM和约300GB的存储空间来运行各种模型。JARVIS需要大量的资源，无法在普通个人电脑上本地运行。然而，尽管有这些限制，JARVIS标志着人工智能发展的重要飞跃，革新了人工智能能力和协作的领域。它重塑了GenAI专业人员与利用人工智能技术的交互方式的潜力是显而易见的，使其成为人工智能发展演进中的关键工具。 Amazon…

在本文中，我们将介绍一种最著名的分词算法之一，称为字节对编码（Byte-Pair Encoding，简称BPE）它被应用在许多最先进的大型语言模型中，比如BERT系列、BART等

基于Transformer的编码器-解码器模型最初在Vaswani等人（2017）的论文中提出，并最近引起了广泛的关注，例如Lewis等人（2019），Raffel等人（2019），Zhang等人（2020），Zaheer等人（2020），Yan等人（2020）。 与BERT和GPT2类似，大规模预训练的编码器-解码器模型已经显示出在各种序列到序列任务上显著提升性能（Lewis等人，2019；Raffel等人，2019）。然而，由于预训练编码器-解码器模型所需的巨大计算成本，这类模型的开发主要局限于大型公司和研究机构。 在《利用预训练检查点进行序列生成任务》（2020）一文中，Sascha Rothe、Shashi Narayan和Aliaksei Severyn使用预训练的编码器和/或解码器检查点（如BERT、GPT2）初始化编码器-解码器模型，跳过了昂贵的预训练过程。作者表明，这种热启动的编码器-解码器模型在训练成本的一小部分情况下，能够产生与T5和Pegasus等大规模预训练编码器-解码器模型相竞争的结果，适用于多个序列到序列任务。 在本笔记本中，我们将详细解释如何热启动编码器-解码器模型，并根据Rothe等人（2020）提供实用提示，最后通过一个完整的代码示例展示如何使用🤗Transformers来热启动编码器-解码器模型。 本笔记本分为4个部分： 介绍 – 简要介绍NLP中的预训练语言模型以及热启动编码器-解码器模型的需求。 热启动编码器-解码器模型（理论） – 对编码器-解码器模型如何进行热启动进行说明。 热启动编码器-解码器模型（分析） – 《利用预训练检查点进行序列生成任务》的总结 哪些模型组合对于热启动编码器-解码器模型有效？它在不同任务中有何不同？ 使用🤗Transformers热启动编码器-解码器模型（实践） – 完整的代码示例，详细展示如何使用EncoderDecoderModel框架来热启动基于Transformer的编码器-解码器模型。 强烈推荐（可能甚至是必须的）阅读有关基于Transformer的编码器-解码器模型的博客文章。 让我们从对热启动编码器-解码器模型的背景介绍开始。 介绍 最近，预训练语言模型1…

近年来，通过利用大规模文本数据，语言模型预训练取得了巨大的成功。通过使用诸如掩码语言建模等预训练任务，这些模型在多个下游任务上展现出了出色的性能。然而，预训练任务（例如语言建模）和下游任务（例如表格问答）之间的巨大差距使得现有的预训练效率还不够高。在实践中，我们经常需要大量的预训练数据才能获得令人满意的改进，即使是针对域自适应预训练也是如此。我们如何设计一个预训练任务来缩小这个差距，从而加速预训练呢？ 概述 在《TAPEX: 通过学习神经SQL执行器进行表格预训练》中，我们探索了在预训练期间使用合成数据作为真实数据的代理，并以TAPEX（通过执行进行表格预训练）作为示例展示其强大性能。在TAPEX中，我们展示了通过在合成语料库上学习神经SQL执行器来实现表格预训练的方法。 注意：[Table]是输入中用户提供的表格的占位符。 如上图所示，TAPEX通过系统化地采样可执行的SQL查询及其在表格上的执行结果，首先合成了一个合成且非自然的预训练语料库。然后，它继续预训练语言模型（例如BART），以输出SQL查询的执行结果，这模拟了神经SQL执行器的过程。 预训练 下图说明了预训练过程。在每一步中，我们首先从网页上获取一个表格。示例表格是关于奥运会的。然后，我们可以采样一个可执行的SQL查询SELECT City WHERE Country = France ORDER BY Year ASC LIMIT 1。通过一个现成的SQL执行器（例如MySQL），我们可以获得查询的执行结果Paris。类似地，通过将SQL查询和扁平化的表格的连接作为输入，输入到模型（例如BART编码器），执行结果作为模型的监督（例如BART解码器）的输出。 为什么要使用SQL查询这样的程序而不是自然语言句子作为预训练的源呢？最大的优点是相较于无法控制的自然语言句子，程序的多样性和规模可以得到系统地保证。因此，我们可以通过采样SQL查询轻松合成多样、大规模且高质量的预训练语料库。 您可以在下面使用训练好的神经SQL执行器🤗 Transformers： from transformers import…

Graphcore和Hugging Face显著扩展了Hugging Face Optimum中可用的机器学习模态和任务范围，这是一个用于优化Transformer性能的开源库。开发人员现在可以方便地访问各种现成的Hugging Face Transformer模型，并经过优化以在Graphcore的IPU上提供最佳性能。 在Optimum Graphcore推出后不久推出的BERT Transformer模型，开发人员现在可以访问包括自然语言处理（NLP）、语音和计算机视觉在内的10个模型，这些模型配有IPU配置文件以及准备好的预训练和微调模型权重。 新的Optimum模型 计算机视觉 ViT（Vision Transformer）是图像识别的突破性技术，它使用Transformer机制作为其主要组件。当图像输入到ViT中时，它们被划分为小块，类似于语言系统中处理单词的方式。每个块都由Transformer（嵌入）进行编码，然后可以单独处理。 自然语言处理（NLP） GPT-2（生成型预训练Transformer 2）是一个在大规模英语语料库上进行自我监督预训练的文本生成Transformer模型。这意味着它仅在原始文本上进行预训练，没有以任何方式对其进行人工标记（这就是为什么它可以使用大量公开可用的数据），它使用自动化过程从这些文本中生成输入和标签。更准确地说，它通过猜测句子中下一个单词来训练生成文本。 RoBERTa（鲁棒优化BERT方法）是一个在大规模英语语料库上进行自我监督预训练的Transformer模型，类似于GPT-2。更准确地说，RoBERTa使用了掩码语言建模（MLM）目标进行预训练。给定一个句子，模型会随机掩盖输入中的15%单词，然后将整个掩码句子输入模型，并预测掩盖的单词。RoBERTa可以用于掩码语言建模，但主要用于在下游任务上进行微调。 DeBERTa（具有解耦注意力的解码增强BERT）是用于NLP任务的预训练神经语言模型。DeBERTa使用两种新颖技术（解耦注意力机制和增强掩码解码器）对2018年的BERT和2019年的RoBERTa模型进行了改进，显著提高了模型的预训练效率和下游任务的性能。 BART是一个具有双向（类似BERT）编码器和自回归（类似GPT）解码器的Transformer编码器-解码器（seq2seq）模型。BART通过（1）使用任意的噪声函数破坏文本和（2）学习一个模型来重构原始文本进行预训练。BART在文本生成（例如摘要、翻译）的微调上特别有效，但在理解任务（例如文本分类、问答）上也表现良好。 LXMERT（从Transformer中学习跨模态编码器表示）是用于学习视觉和语言表示的多模态Transformer模型。它有三个编码器：对象关系编码器、语言编码器和跨模态编码器。它是通过一系列任务进行预训练，包括掩码语言建模、视觉-语言文本对齐、ROI特征回归、掩码视觉属性建模、掩码视觉对象建模和视觉问答目标。它在VQA和GQA视觉问答数据集上取得了最先进的结果。 T5（文本到文本转换Transformer）是一个革命性的新模型，可以将任何文本转换为用于翻译、问答或分类的机器学习格式。它引入了一个统一的框架，将所有基于文本的语言问题转换为文本到文本格式的迁移学习。通过这样做，它简化了在各种NLP任务中使用相同的模型、目标函数、超参数和解码过程的方式。 语音 HuBERT（隐藏单元BERT）是一个在音频上进行自我监督语音识别预训练的模型，它学习了连续输入上的声学和语言模型的组合。HuBERT模型在Librispeech（960h）和Libri-light（60,000h）基准测试中，使用10分钟、1小时、10小时、100小时和960小时的微调子集，要么与现有的wav2vec 2.0性能相匹配，要么有所改进。 Wav2Vec2是一个用于自动语音识别的预训练自我监督模型。Wav2Vec2使用一种新颖的对比预训练目标，从大量无标签的语音数据中学习强大的语音表示，然后在少量转录语音数据上进行微调，优于最佳的半监督方法，而且概念上更简单。…