Press "Enter" to skip to content

115 search results for "Descript"

如何使用开源工具像专业人士一样克隆声音和视频口型同步

介绍 AI语音克隆风靡社交媒体。它开启了创造性的无限可能。你肯定在社交媒体上看过名人梗或AI语音配音。你想知道它是如何完成的吗?当然,许多平台提供像Eleven Labs这样的API,但我们能否免费使用开源软件来实现呢?答案是肯定的。开源界有TTS模型和嘴唇同步工具,用于实现语音合成。因此,在本文中,我们将探索用于语音克隆和嘴唇同步的开源工具和模型。 学习目标 探索用于AI语音克隆和嘴唇同步的开源工具。 使用FFmpeg和Whisper转录视频。 使用Coqui-AI的xTTS模型进行语音克隆。 使用Wav2Lip进行视频嘴唇同步。 探索该技术的实际用例。 本文作为 数据科学博客马拉松 中的一部分发表。 开源栈 正如你已经了解的,我们将使用OpenAI的 Whisper,FFmpeg,Coqui-ai的xTTS模型和Wav2lip作为我们的技术栈。但在深入代码之前,让我们简要讨论一下这些工具。同时感谢这些项目的作者。 Whisper:Whisper是OpenAI的自动语音识别(ASR)模型。它是一个使用超过650k小时的各种音频数据和相应转录进行训练的编码器-解码器变压器模型。这使其在多语言转录方面非常强大。 编码器接收音频段的对数梅尔频谱图,每个编码器块使用自注意力机制来理解音频信号的不同部分。解码器然后接收编码器的隐藏状态信息和学习的位置编码。解码器使用自注意力机制和跨注意力机制预测下一个标记。最终,它输出代表识别文本的一系列标记。有关Whisper的更多信息,请参考官方存储库。 Coqui TTS:TTS是Coqui-ai的开源库。它包含多个文本到语音模型。它具有端到端模型,如Bark、Tortoise和xTTS,频谱图模型如Glow-TTS、FastSpeech等,以及声码器如Hifi-GAN、MelGAN等。此外,它提供了一个统一的API用于推断、微调和训练文本到语音模型。在这个项目中,我们将使用xTTS,一个端到端的多语言语音克隆模型。它支持16种语言,包括英语、日语、印地语、普通话等。有关TTS的更多信息,请参考官方TTS存储库。 Wav2Lip:Wav2Lip是一个用于“A Lip Sync Expert Is All You Need for…

Leave a Comment

如何在不依赖OpenAI或LM Studio的情况下使用AutoGen?

介绍 你准备好了吗,要在没有依赖OpenAI和LM Studio的情况下创建你的AI团队了吗?不再需要花大钱或下载应用程序。从设置llama-cpp-python到使用autogen框架探索本地LLM的强大功能。准备好在不依赖OpenAI API的情况下发挥Autogen的全部潜力了吗。 学习目标 在我们深入了解细节之前,让我们概述本文的关键学习目标: 学习如何评估和比较不同的AI库和工具。 探索llama-cpp-python作为OpenAI API的替代方案。 将所获知识应用于两个真实世界的用例:构建算法导师团队和自动化财务图表生成。 通过集成的IPython探索AutoGen改进的用户体验,实时执行代码并看到结果。 本文是数据科学博客马拉松的一部分。 认识你的工具:Llama-cpp-python,AutoGen和本地LLMs 但是你可能会问,这个技术工具包有什么特别之处?Llama-cpp-python是你在本地运行LLMs的入口,包括像LLaMA这样的大牌。就像你的电脑上有AI超级明星,而且支持不同的BLAS后端,速度超乎想象! AutoGen AutoGen是一个统一的多代理对话框架,作为使用基础模型的高级抽象。它结合了能力强大、可定制和可对话的代理,通过自动对话集成LLMs、工具和人类参与者。它使代理能够自主沟通和协作,有效地简化复杂任务并自动化工作流程。 如果你渴望深入了解AutoGen的能力,并探索它如何促进战略性的AI团队建设,不妨看看我们专门的博客:“借助AutoGen轻松实现战略性AI团队建设。”这个综合资源提供了见解、用例和更详细的介绍,展示了AutoGen如何改变你的AI开发方式。 库/工具 一些库/工具提供了一个Web服务器,旨在替代OpenAI API。 除了上述选项,还有其他选择,但最佳选择取决于你的偏好和需求。 Llama-cpp-python Llama-cpp-python是llama.cpp库的Python绑定。它通过ctypes接口提供对C API的低级访问,提供了高级Python API用于文本补全、类似OpenAI的API和LangChain兼容性。它支持多个BLAS后端以加快处理速度,也支持硬件加速。…

Leave a Comment

遇见杂食动物:SiBORG实验室使用OpenUSD和NVIDIA Omniverse提升无障碍性的方法

无障碍性是所有设计师在构建空间或产品之前必须考虑的关键要素,然而传统的评估过程往往令人繁琐且耗时。 新泽西理工学院的建筑与设计助理教授马修·施瓦茨(Mathew Schwartz)正在利用NVIDIA Omniverse平台和通用场景描述(Universal Scene Description)框架(即OpenUSD)来帮助建筑师、室内设计师和工业设计师解决这一挑战。 施瓦茨的研究与设计实验室SiBORG(模拟、生物力学、机器人和图形)专注于理解和改进设计工作流程,尤其是与无障碍性、人因和自动化相关的工作流程。施瓦茨和他的团队开发算法用于研究项目,并将其转化为可用产品。 利用Omniverse这一开发平台,团队开发了基于OpenUSD的开源代码,可以自动生成建筑设计复杂的无障碍性图表。这一代码基于施瓦茨的研究论文《以人为中心的无障碍性图表用于环境分析》。 该图表提供人体运动相关的反馈,例如完成某一路径所需的估计能量消耗、完成路径所需的步数,或者沿途的任何斜坡角度。 借助Omniverse,团队可以使用施瓦茨的代码可视化图表及其生成的路径。这可以帮助设计师更好地评估建筑规范和人员安全性,并提供重要的无障碍性见解。 https://blogs.nvidia.com/wp-content/uploads/2023/12/Pathloop.mp4 OpenUSD 的威力 传统上,在建筑设计过程中,对无障碍性和环境条件的反馈通常局限于建筑规范分析。施瓦茨的工作通过无缝集成Omniverse和OpenUSD,使设计师能够克服这一障碍。 以前,他不得不在多个应用程序之间切换,以完成模拟和建模项目的不同方面。他的工作流程经常涉及Unity等支持人体模拟的工具和McNeel Rhino3D等具备3D建模功能的工具。 通过OpenUSD,他现在可以将研究、Python代码、3D环境和渲染以及常用工具集成到Omniverse中。 “让我对Omniverse着迷的是,它使我能够将Python应用程序编程界面与强大的物理、渲染和动画软件结合起来,”他说。“我的团队充分利用了Omniverse中灵活的Python API,几乎开发了整个用户界面。” 施瓦茨的团队利用Omniverse以与现有的开源Python代码进行可视化和交互,而无需进行外部工作,例如无缝链接到第三方应用程序。实验室的多才多艺的数据分析工具可以与与OpenUSD兼容的任何程序进行交互。 “通过OpenUSD和Omniverse,我们能够扩大我们的研究范围,将数据分析和可视化与设计过程无缝结合起来,”施瓦茨说。 运行逼真的渲染和模拟 施瓦茨还使用Omniverse来模拟人群的移动和互动。 他利用两个NVIDIA RTX…

Leave a Comment

“Q4 Inc. 如何利用 Amazon Bedrock、RAG 和 SQLDatabaseChain 解决数值和结构化数据集挑战,构建他们的问答聊天机器人”

此文章由Q4 Inc.的Stanislav Yeshchenko共同撰写企业们越来越多地采用检索增强生成(RAG)作为构建问答聊天机器人的主流方法我们继续看到源于现有数据集种类的新挑战这些数据集通常是数值和文本数据的混合,有时是结构化的,…

Leave a Comment

「前40+个创造性AI工具(2023年12月)」

ChatGPT – GPT-4 GPT-4是OpenAI最新的LLM,比之前的版本更有创意、准确和安全。它还具有多模态能力,即能够处理图像、PDF、CSV等格式文件。通过引入代码解释器,GPT-4现在可以运行自己的代码,避免产生幻觉并提供准确的答案。 Bing AI Bing AI由OpenAI的GPT-4模型推动,可以遍历网络提供准确答案。它还具有根据用户提示生成图像的功能。 GitHub Copilot GitHub Copilot是一款分析代码并提供即时反馈和相关代码建议的AI代码补全工具。 DALL-E 2 DALL-E 2是由OpenAI开发的文本到图像生成工具,根据用户的提示创建原创图像。它被设计用于拒绝不恰当的用户请求。 Cohere Generate Cohere Generate利用人工智能的潜力提升业务运营。它为电子邮件、落地页、产品描述和其他各种需求提供个性化内容。 AlphaCode AlphaCode由DeepMind开发,能以竞争水平编写计算机程序。 Adobe Firefly Firefly是一款图像生成和编辑工具,以其基于提示生成准确性而闻名。它包括广泛的图像修改功能,包括内容类型、颜色、音调、光照和构图工具。…

Leave a Comment

使用API计划Amazon SageMaker笔记本任务并管理多步骤笔记本工作流程

亚马逊SageMaker Studio为数据科学家提供了完全托管的解决方案,可以交互式地构建、训练和部署机器学习(ML)模型亚马逊SageMaker笔记本作业允许数据科学家在SageMaker Studio中通过几次点击按需或按计划运行其笔记本有了这次发布,您可以以编程方式运行笔记本作业[…]

Leave a Comment

“自动聚类的启动:探索多智能体框架的基础知识”

介绍 踏上一段激动人心的旅程,探索多智能体框架的基础知识,并进入软件开发的未来,这就是“自动产生:探索多智能体框架基础”的主题。在OpenAI的ChatGPT之后,一个名为LLM(LLM agent)的专业领域正在经历前所未有的飞速发展,彻底改变了AI代理开发。从自动化繁琐任务到解决动态决策中的挑战,LLM代理正在挑战曾经被认为不可能的界限。 随着我们进入空间计算时代,设想一个世界,计算机与现实无缝融合,AI代理的重要性变得至关重要。想象一下通过语言和手势指令代理完成任务,具有无与伦比的推理和行动能力。然而,我们正处于AI代理革命的黎明期,见证着新的基础设施、工具和框架的诞生,这些赋予代理应对越来越复杂任务的能力。剪裁多智能体聊天系统的先进框架Autogen,在我们的探索中扮演重要的角色。 在这篇文章中,让我们一起揭开AI代理革命的早期阶段的细节,深入了解Autogen的能力,并探索如何让这些智能实体焕发生机。 学习目标 了解什么是LLM代理 学习Autogen是什么,并探索使用Autogen构建代理的基础知识 使用Autogen和OpenAI API构建代理 探索LLM代理的现实世界应用案例 本文是《数据科学博文马拉松》的一部分。 什么是LLM代理? 传统的语言模型在许多方面都表现出色,例如翻译、问答等。然而,它们的知识和能力是有限的。这就像是一名泥瓦工在修筑房子时缺少工具一样。然而,有观察发现,LLM代理在给予必要的工具后能够进行推理和行动。大多数LLM代理对世界的了解有限,但我们可以通过提示将它们与自定义来源的信息进行增强。 我们可以通过两种方法实现这一目标:检索增强生成和LLM代理。在检索增强生成中,我们通过自定义的硬编码流程将信息提供给模型。但对于代理来说,基于其推理,LLM代理将利用其掌握的工具。例如,带有Serp工具的GPT-4将浏览互联网并相应地回答,或者在可以访问雅虎金融工具时,它可以获取和分析股票表现。因此,LLM模型、工具和用于推理和采取行动的框架的组合就是AI代理的概念。 构建LLM代理的平台和工具急剧增长。Autogen就是其中之一。让我们了解一下Autogen是什么,以及如何使用它来创建LLM代理。 什么是Autogen? Autogen是微软推出的一款面向构建稳定多智能体应用的开源工具。该工具从头开始设计,充分考虑到多智能体之间的通信。它允许我们创建LLM应用程序,其中多个代理互相对话以找到解决方案。这些代理是高度可定制的,意味着我们可以引导它们执行特定的任务。它还与Langchain工具生态系统完美集成,这意味着我们可以利用现有的Langchain工具来增强我们的代理。 为了完成任务,Autogen提供了不同类型的代理,包括: 助理代理:负责完成编码、审核等任务 用户代理:如其名称所示,这些代理代表最终用户行动。这些代理将人类引入代理循环,以引导对话 可教授代理:该代理被配置为易于教授。我们可以向代理提供LLM中缺失的显式信息 我们在大多数情况下只需要一个助理代理和用户代理进行配置。所以,让我们看看如何使用 Autogen 配置代理。RAG…

Leave a Comment

文本到图像革命:Segmind的SD-1B模型成为最快的游戏中的模型

介绍 Segmind AI 自豪地发布了 SSD-1B(Segmind Stable Diffusion 1B),这是一种具有颠覆性的开源文本到图像生成模型革命。这个闪电般快速的模型具有前所未有的速度、紧凑设计和高质量的视觉输出。人工智能在自然语言处理和计算机视觉方面取得了快速进展,并展示出重新定义界限的创新。由于其关键特征,SSD 1B 模型是计算机视觉的开拓之门。在这篇全面的文章中,我们深入探讨了该模型的特点、用例、架构、训练信息等等。 学习目标 探索 SSD-1B 的架构概述,了解它如何从专家模型中进行知识蒸馏。 通过在 Segmind 平台上使用 SSD-1B 模型进行快速推理和使用代码推理,获得实践经验。 了解下游用例,了解 SSD-1B 模型如何用于特定任务。 认识 SSD-1B 的局限性,特别是在实现绝对照片逼真度和在某些场景中保持文本清晰度方面。…

Leave a Comment

使用AutoGen轻松进行战略AI团队建设

介绍 在一个数字前沿无边界的世界中,AutoGen以一种变革性范式的建筑师的身份出现。想象一下拥有个性化的人工智能团队,每个团队都擅长不同领域,无缝协作,无障碍沟通,不知疲倦地处理复杂任务。这就是AutoGen的本质,它是一种开创性的多智能体对话框架,赋予您创建个性化的人工智能团队的能力。在这篇文章中,我们揭开AutoGen的神奇之处,探索它如何使您能够组建自己的数字梦想团队并实现非凡成就。欢迎来到一个人与机器之间的边界消失,协作无限的未来。 学习目标 在我们深入了解细节之前,让我们概述一下本文的主要学习目标: 全面了解AutoGen作为多智能体对话框架的能力。 了解智能体在多智能体对话框架中的自主沟通和协作。 了解config_list在AutoGen运行中的关键作用。了解保护API密钥和管理配置以实现智能体高效性能的最佳实践。 探索各种对话风格,从完全自主到人类参与的交互。了解AutoGen支持的静态和动态对话模式。 了解如何利用AutoGen根据验证数据、评估函数和优化指标调整LLM。 探索示例,如构建协作内容创作团队和带有文化背景的语言翻译,以了解AutoGen如何在不同场景中应用。 本文作为数据科学博文马拉松的一部分发表。 AutoGen是什么? AutoGen是一个统一的多智能体对话框架,作为使用基础模型的高级抽象。它将能力强大、可定制、可对话的智能体通过自动化聊天集合在一起,与LLMs、工具和人类参与者整合。本质上,它使智能体能够自主沟通和协作,有效地简化复杂任务并自动化工作流程。 为什么AutoGen很重要? AutoGen解决了与人工智能进行高效灵活的多智能体通信的需求。它的重要性在于它能够: 简化复杂LLM工作流程的编排、自动化和优化。 充分发挥LLM模型的性能,同时克服其局限性。 以最少的工作量基于多智能体对话开发下一代LLM应用。 设置开发环境 创建虚拟环境 创建虚拟环境是一种良好的实践,可以隔离特定项目的依赖项,避免与系统范围的软件包冲突。以下是设置Python环境的方法: 选项1:Venv python -m venv…

Leave a Comment

使用Amazon SageMaker Model Registry、HashiCorp Terraform、GitHub和Jenkins CI/CD在多环境设置中推广管道

在人工智能(AI)和机器学习(ML)的快速发展环境中,为组织构建一个机器学习操作(MLOps)平台对于无缝衔接数据科学实验和部署,同时满足模型性能、安全性和合规性要求至关重要为了满足监管和合规要求,

Leave a Comment

在Python中进行结构化LLM输出存储和解析

介绍 生成AI目前在全球范围内广泛使用。大型语言模型能够理解提供的文本并基于此生成文本的能力,已经导致了从聊天机器人到文本分析器的众多应用。但是,这些大型语言模型通常以非结构化的方式生成文本。有时候,我们希望LLM生成的输出以结构化的形式呈现,比如JSON(JavaScript对象表示)格式。假设我们正在使用LLM来分析社交媒体帖子,并且我们需要LLM生成的输出在代码中本身作为JSON/Python变量,以执行其他任务。通过Prompt Engineering可以实现这一点,但需要花费大量时间来调整提示。为了解决这个问题,LangChain引入了输出解析功能,可以用于将LLM的输出转换为结构化格式。 学习目标 解释大型语言模型生成的输出 使用Pydantic创建自定义数据结构 了解提示模板的重要性,并生成一个格式化LLM输出的模板 学习如何使用LangChain创建LLM输出的格式化指令 了解如何将JSON数据解析为Pydantic对象 本文是数据科学博文马拉松的一部分。 LangChain和输出解析是什么? LangChain是一个Python库,可以让您在短时间内构建与大型语言模型相结合的应用程序。它支持多种模型,包括OpenAI GPT LLM、Google的PaLM,甚至是Hugging Face中提供的开源模型,如Falcon、Llama等等。借助LangChain,定制大型语言模型的提示变得轻而易举,它还配备了一个开箱即用的向量存储库,可以存储输入和输出的嵌入。因此,可以使用它来创建在几分钟内查询任何文档的应用程序。 LangChain使大型语言模型能够通过代理从互联网上获取信息。它还提供了输出解析器,允许我们从大型语言模型生成的输出中结构化数据。LangChain提供了不同的输出解析器,如列表解析器、日期时间解析器、枚举解析器等等。在本文中,我们将介绍JSON解析器,它可以将LLM生成的输出解析为JSON格式。下面,我们可以观察到一个典型的流程,即将LLM输出解析为Pydantic对象,从而创建出一组可供Python变量直接使用的数据。 入门-设置模型 在本节中,我们将使用LangChain来设置模型。在本文中,我们将始终使用PaLM作为我们的大型语言模型。我们将使用Google Colab作为我们的环境。您可以将PaLM替换为任何其他大型语言模型。我们将首先导入所需的模块。 !pip install google-generativeai langchain 这将下载LangChain库和与PaLM模型一起使用的google-generativeai库。 需要langchain库来创建自定义提示并解析大型语言模型生成的输出。…

Leave a Comment

Can't find what you're looking for? Try refining your search: