Press "Enter" to skip to content

281 search results for "PyTorch"

VoAGI 新闻，11 月 8 日：掌握 Python、SQL、Scikit-learn、PyTorch 和 Google Cloud 的 5 个简单步骤 • 数据可视化的 SQL

Published November 8, 2023 by 四海吧

本周在VoAGI上：深入研究VoAGI回到基础：通过5个步骤入门系列，帮助您掌握Python、SQL、Scikit-learn、PyTorch和Google Cloud Platform • 活用SQL在数据可视化中的威力：掌握为有影响力的图表和图形准备数据的艺术 • 而且…

Continue readingVoAGI 新闻，11 月 8 日：掌握 Python、SQL、Scikit-learn、PyTorch 和 Google Cloud 的 5 个简单步骤 • 数据可视化的 SQL
Leave a Comment

“Meta AI开源AudioCraft：一个用于音频生成的PyTorch库，用于深度学习研究”

Published August 6, 2023 by 四海吧

<img src=”https://www.marktechpost.com/wp-content/uploads/2023/08/362278500_245853288291883_2304974600919081225_n-1024×576.png”/><img src=”https://www.marktechpost.com/wp-content/uploads/2023/08/362278500_245853288291883_2304974600919081225_n-150×150.png”/><p>为了使研究人员和实践者能够训练他们的模型并推动技术的发展，Meta发布了其文本到音乐生成AI“AudioCraft”的源代码。MusicGen、AudioGen和EnCodec是构成AudioCraft开发框架的三个模型。</p><ul> <li>MusicGen可以根据文本用户输入生成音乐，因为它是使用Meta拥有并经过特殊许可的音乐进行训练的。</li> <li>AudioGen可以从文本输入中创建音频，并在公开的音效中进行训练。</li> <li>EnCodec是一个三合一的AI驱动的编码器、量化器和解码器。</li> </ul><p>AudioGen可以从文本输入中创建音频，并在公开的音效中进行训练。Meta将发布改进版的EnCodec解码器，使音乐生成具有更高的质量和更少的伪影，同时还提供预训练的AudioGen模型，可用于生成环境音和音效，比如狗叫声、汽车喇叭声或者木地板上的脚步声，以及AudioCraft模型的所有权重和代码。对该技术感兴趣的研究人员可以使用这些模型。Meta很高兴首次向研究人员和实践者开放其平台，让他们能够使用自己的数据集来训练模型并为技术的发展做出贡献。</p><p>经过训练后，它可以根据用户输入的文字产生逼真且高质量的音乐或音效。AudioCraft中包含了MusicGen、AudioGen和EnCodec这三个模型。MusicGen和AudioGen可以根据各自的训练集从文本生成音乐和音效。MusicGen使用Meta拥有的和经许可的音乐，而AudioGen使用公开的音频数据集。Meta在2017年的6月和10月分别发布了两个模型：MusicGen和AudioGen。</p><p>Meta声称，AudioCraft可以通过直观的界面产生专业级的声音。他们还声称，通过采用一种新的方法，它简化了当前音频生成技术的设计。他们详细介绍了AudioCraft如何使用EnCodec神经音频编解码器从原始音频数据中提取有意义的信息。在此之后，一个自回归语言模型通过利用音乐样本（音频令牌）的预先确定“词汇表”来训练一个新的音频语言模型。这个新模型生成基于文本描述的令牌，并发送回EnCodec解码器，从而实现音频和音乐的合成。</p><p>Meta演示了AudioGen与传统的AI音乐生成器的独特之处。长期以来，音乐的象征性表示，如MIDI或钢琴卷纸，一直被用于音乐训练以生成AI模型。然而，当记录音乐表达的细微差别和审美成分时，这些方法必须进行修订。更复杂的方法涉及将原始音乐输入系统，并使用自监督音频表示学习和多级（级联模型）模型来生成音乐，以捕捉信号的长距离结构。虽然效果可能需要一些改进，但是可以生成良好的声音。</p><p>根据负责任的AI原则，Meta的研究人员正在制作AudioGen和MusicGen模型卡片，记录他们开发模型的过程，并提供给研究界以不同规模的版本。音频研究框架和训练代码以MIT许可证的形式对公众开放，以供他人使用和扩展。Meta认为，如果开发出更复杂的控制方式，这样的模型对业余和专业音乐家可能非常有用。想象一下，通过强大的开源基础，可以实现带有音效和戏剧性音乐的增强睡前故事朗读等可能性。</p>

Leave a Comment

使用PyTorch完全分片的数据并行加速大型模型训练

Published July 17, 2023 by 四海吧

在这篇文章中，我们将看看如何利用加速库来训练大型模型，使用户能够利用最新的PyTorch FullyShardedDataParallel (FSDP)功能。 随着机器学习（ML）模型的规模、大小和参数的不断增长，ML从业者发现在他们的硬件上训练甚至加载这样大的模型变得困难。一方面，已经发现大型模型学习速度快（数据和计算效率高），与较小的模型相比具有显著的性能优势[1]；另一方面，使用现有的大多数硬件来训练这样的模型变得难以实现。 分布式训练是实现训练这样大型ML模型的关键。在大规模分布式训练领域，近年来取得了重大进展。以下是其中最显著的几个进展： 使用ZeRO（Zero Redundancy Optimizer）的数据并行性[2] 阶段1：将优化器状态在数据并行工作器/ GPU 之间分片 阶段2：将优化器状态 + 梯度在数据并行工作器/ GPU 之间分片 阶段3：将优化器状态 + 梯度 + 模型参数在数据并行工作器/ GPU 之间分片 CPU 卸载：在…

Continue reading使用PyTorch完全分片的数据并行加速大型模型训练
Leave a Comment

使用PyTorch的策略梯度

Published July 15, 2023 by 四海吧

第五单元，使用 Hugging Face 的深度强化学习课程 🤗 ⚠️ 这篇文章有一个新的更新版本，可以在这里找到 👉 https://huggingface.co/deep-rl-course/unit1/introduction 这篇文章是深度强化学习课程的一部分，从入门到专家都可以免费学习。点击这里查看课程大纲。 ⚠️ 这篇文章有一个新的更新版本，可以在这里找到 👉 https://huggingface.co/deep-rl-course/unit1/introduction 这篇文章是深度强化学习课程的一部分，从入门到专家都可以免费学习。点击这里查看课程大纲。 在上一个单元中，我们学习了深度 Q 学习。在这种基于值的深度强化学习算法中，我们使用深度神经网络来逼近每个可能动作的不同 Q 值。 确实，在课程的开始阶段，我们只学习了基于值的方法，其中我们通过估计一个值函数作为找到最优策略的中间步骤。 因为在基于值的方法中，π 只存在于动作值估计之中，因为策略只是一个函数（例如，贪婪策略），它会在给定状态时选择具有最高值的动作。 但是，对于基于策略的方法，我们希望直接优化策略，而不需要学习值函数的中间步骤。 所以今天，我们将学习我们的第一个基于策略的方法：Reinforce。我们将使用…

Continue reading使用PyTorch的策略梯度
Leave a Comment

如何使用🤗 Accelerate和PyTorch运行非常大的模型

Published July 15, 2023 by 四海吧

加载和运行大型模型 Meta AI和BigScience最近开源了非常大的语言模型，这些模型无法适应大多数消费者硬件的内存（RAM或GPU）。在Hugging Face，我们的使命之一就是使这些大型模型可访问，因此我们开发了工具，使您能够运行这些模型，即使您没有超级计算机。本博客文章中选择的所有示例都在免费的Colab实例上运行（具有有限的RAM和磁盘空间），如果您有更多的磁盘空间，请随时选择更大的检查点。 下面是我们如何运行OPT-6.7B模型： import torch from transformers import pipeline # This works on a base Colab instance. # Pick a larger checkpoint if…

Continue reading如何使用🤗 Accelerate和PyTorch运行非常大的模型
Leave a Comment

使用DeepSpeed加速PyTorch，利用基于Intel Habana Gaudi的DL1 EC2实例训练大型语言模型

Published June 9, 2023 by 四海吧

训练拥有数十亿个参数的大型语言模型(LLM)可能会具有挑战性除了设计模型架构外，研究人员还需要设置先进的分布式训练技术，如混合精度支持、梯度累积和检查点对于大型模型，训练设置更加具有挑战性，因为在单个…中可用的内存有限

Continue reading使用DeepSpeed加速PyTorch，利用基于Intel Habana Gaudi的DL1 EC2实例训练大型语言模型
Leave a Comment

提高在Amazon SageMaker Studio上的生产力：介绍JupyterLab Spaces和生成AI工具

Published December 15, 2023 by 四海吧

亚马逊SageMaker Studio为机器学习开发提供了一系列完全托管的集成开发环境（IDE），包括JupyterLab、基于Code-OSS（Visual Studio Code开源版）的代码编辑器和RStudio它为每个ML开发步骤提供了最全面的工具集，从数据准备到建立、训练[…]

Continue reading提高在Amazon SageMaker Studio上的生产力：介绍JupyterLab Spaces和生成AI工具
Leave a Comment

Deci AI推出DeciLM-7B：一种超快速且超准确的70亿参数的大型语言模型（LLM）

Published December 14, 2023 by 四海吧

“`html 在不断发展的技术进步领域中，语言模型已成为不可或缺的一部分。这些由先进的人工智能驱动的系统增强了我们与数字平台的互动。语言模型旨在理解和生成类似人类的文本，弥合了人类沟通与机器理解之间的差距。技术的进步引领着一个数字时代，语言模型在信息处理、沟通和问题解决中扮演越来越重要的角色。 最近，Deci推出了DeciLM-7B，这是一种具有高精度和速度的创新模型，适用于70亿参数级别。这个模型在Apache 2.0许可下，处于新一代语言模型的前沿，拥有70亿参数级别中无与伦比的准确性和速度。该模型是语言处理领域的一种增量革新和变革性力量。 在“开放语言模型排行榜”上，DeciLM-7B显示出令人印象深刻的平均得分为61.55。这表明DeciLM-7B是70亿参数级别中最先进的基础语言模型，提供了在各种应用中改进的准确性和可靠性。Mistral 7B在诸多基准测试中表现优异，包括Arc、HellaSwag、MMLU、Winogrande和GSM8K等。 DeciLM-7B不仅准确，而且速度出色。与Mistral 7B相比，它的吞吐量增加了83%，与Llama 2 7B相比增加了139%。DeciLM-7B提高了语言模型的效率标准。PyTorch基准测试突显了其在吞吐量上优于Mistral 7B和Llama 2 7B，分别显示出1.83倍和2.39倍的增加。 DeciLM-7B与Infery和Dec开发的推理SDK相互协作，相对于具有vLLM的Mistral 7B，能够提供4.4倍的速度提升，为成本效益高、大量用户交互提供机会。 DeciLM-7B利用NAS的引擎AutoNAC。该模型采用了变量分组查询注意力。在顶级的70亿参数大型语言模型中，该模型在没有复杂的偏好优化方法的情况下表现出色。研究人员强调，DeciLM-7B和Infery-LLM具有在多个行业引发革命性变革的潜力。它们在提供实时聊天机器人的高容量客户服务方面提升了智能度、响应度和可负担性，并在医疗、法律、市场营销和金融等文本密集型专业领域中实现了工作流自动化的革新。 总之，DeciLM-7B在大型语言模型中具有重要作用。它不仅在准确性和效率方面出类拔萃，还在可访问性和多功能性方面表现出众。随着技术的不断进步，像DeciLM-7B这样的模型在塑造数字世界方面变得更加重要。它们给我们提供了一个令人兴奋的前景，展示了无数未来可能性的一瞥。随着技术的进步，这些模型变得越来越重要，为我们提供了数字领域中众多选择的引人入胜且广阔的预览。 “`

Leave a Comment

使用 QLoRA 对 Llama 2 进行微调，并在 Amazon SageMaker 上部署，配备 AWS Inferentia2

Published December 13, 2023 by 四海吧

在这篇文章中，我们展示了使用参数高效微调 (PEFT) 方法对 Llama 2 模型进行微调，并将微调后的模型部署在 AWS Inferentia2 上我们使用 AWS Neuron 软件开发工具包 (SDK) 来访问 AWS Inferentia2 设备，并从其高性能中受益然后，我们使用一个由 […] 提供支持的大型模型推断容器

Continue reading使用 QLoRA 对 Llama 2 进行微调，并在 Amazon SageMaker 上部署，配备 AWS Inferentia2
Leave a Comment

AI在欺诈检测中的应用方式是怎样的？

Published December 13, 2023 by 四海吧

西部野蛮时代有枪手、抢劫银行和悬赏–而今日数字时代有身份盗窃、信用卡欺诈和退款。 利用金融诈骗赚钱已成为一项数十亿美元的犯罪活动。而诈骗者手中的生成式人工智能只会使这种盈利更加丰厚。 根据《尼尔森报告》，全球信用卡损失预计将在2026年达到430亿美元。 金融诈骗以越来越多的方式进行，比如从暗网窃取被黑客攻击的数据实施信用卡盗窃，利用生成式人工智能进行钓鱼式获取个人信息，并在加密货币、数字钱包和法定货币之间洗钱。还有许多其他金融诈骗计划潜伏在数字黑社会。 为了跟上步伐，金融服务公司正在利用人工智能进行诈骗检测。这是因为许多数字犯罪需要及时阻止，以便消费者和金融公司能够立即停止损失。 那么人工智能如何用于诈骗检测呢？ 人工智能用于诈骗检测使用多个机器学习模型来检测客户行为和联系的异常，以及符合欺诈特征的账户和行为模式。 生成式人工智能可以用作诈骗辅助 金融服务中很多内容涉及文本和数字。生成式人工智能和大型语言模型（LLMs）能够学习意义和背景，承诺在各行各业带来颠覆性的能力和生产力水平。金融服务公司可以利用生成式人工智能开发更智能、更有能力的聊天机器人，并改进诈骗检测。 而反派角色可以通过狡猾的生成式人工智能提示来绕过人工智能保障，用于欺诈。而且大型语言模型正在提供类似人类写作的能力，使诈骗分子能够撰写更具上下文相关的电子邮件，而无需拼写错误和语法错误。可以快速创建许多不同版本的钓鱼邮件，使生成式人工智能成为实施欺诈的绝佳副驾驶员。还有许多诸如FraudGPT之类的暗网工具，可以利用生成式人工智能进行网络犯罪。 生成式人工智能也可以用于声音认证安全措施的金融损害。一些银行正在使用声音认证来帮助授权用户。如果攻击者能够获取声音样本，他们可以使用深度伪造技术克隆银行客户的声音，试图突破这些系统。声音数据可以通过试图引诱通话接收者通过声音作出回应的垃圾电话来收集。 聊天机器人诈骗问题如此严重，以至于美国联邦贸易委员会提出了有关使用大型语言模型和其他技术模拟人类行为，用于伪造视频和声音克隆的关注和担忧。 生成式人工智能如何解决滥用和诈骗检测问题？ 诈骗审查现在有强大的新工具。处理手动诈骗审查的工作人员可以通过在后端运行基于LLM的助手，利用来自政策文件的信息来加速决策，判断案件是否属于欺诈，从而大大加快处理过程。 大型语言模型被采用来预测客户的下一笔交易，这有助于支付公司预先评估风险并阻止欺诈交易。 生成式人工智能还通过提高准确性、生成报告、减少调查和降低合规风险来帮助打击交易诈骗。 生成合成数据是生成式人工智能用于欺诈预防的另一个重要应用。合成数据可以提高用于训练诈骗检测模型的数据记录数量，增加示例的多样性和复杂性，使人工智能能够识别欺诈者使用的最新技术。 NVIDIA提供了帮助企业采用生成式人工智能构建聊天机器人和虚拟代理的工具，使用了检索增强生成技术。检索增强生成使公司能够利用自然语言提示来访问大量数据集进行信息检索。 利用NVIDIA的人工智能工作流程可以帮助加速构建和部署适用于各种用例的企业级能力，使用基础模型、NVIDIA NeMo框架、NVIDIA Triton推理服务器和GPU加速矢量数据库来部署检索增强生成技术的聊天机器人。 行业专注于安全，以确保生成型人工智能不易被滥用造成伤害。NVIDIA发布了NeMo Guardrails，以帮助确保基于LLMs的智能应用（如OpenAI的ChatGPT）的准确性、适当性、主题相关性和安全性。 该开源软件旨在防止滥用人工智能驱动的应用程序进行欺诈和其他不当使用。 人工智能在识别欺诈方面的好处是什么？…

Continue readingAI在欺诈检测中的应用方式是怎样的？
Leave a Comment

Can't find what you're looking for? Try refining your search: