深入了解 Zephyr-7B,一款开创性的大型语言模型了解它如何利用知识蒸馏来建立新的人工智能效率和可访问性标准,塑造了会话型人工智能的未来
Leave a Comment242 search results for "HuggingFace"
当我开始学习HuggingFace时,数据收集器对我来说是最不直观的组件之一我很难理解它们,而且我找不到足够好的资源来解释它们…
Leave a Comment在我的上一篇文章中,我向您展示了如何使用Meta AI刚刚发布的新Llama 2模型进行微调,以几行代码构建Python代码生成器这一次,我们将描述…
Leave a Comment“随着对生成式人工智能(Generative AI)的兴趣不断增长,包括图像生成在内,越来越多的优秀资源开始变得可用,其中一些我将在下面介绍然而,基于我的…”
Leave a CommentIBM和开源AI平台Hugging Face共同宣布发布了watsonx.ai地理空间基础模型。这个出色的AI模型使用了NASA的卫星数据,代表了气候科学和地球研究领域的重大进展。这个合作的主要目标是民主化AI的获取,并促进这些关键领域的创新加速。 在面对不断变化的环境条件下,气候科学领域面临着获得最新数据的紧迫挑战。尽管有大量的数据涌入(预计到2024年将达到250,000 TB),但分析这些广泛的数据集对科学家和研究人员来说仍然是一个难以逾越的任务。为了解决这个问题,IBM今年早些时候与NASA签署了一项太空行动法协议,开发了一个用于地理空间数据的AI基础模型。 通过在Hugging Face上提供地理空间基础模型,这个合作旨在促进AI社区内更大的合作和信息共享。这一举措有望加速开发有益于地球的重大解决方案。 地理空间基础模型是在美国大陆范围内的一年时间内,使用协调的Landsat Sentinel-2卫星数据(HLS)进行联合训练的。该模型在现有技术上表现出令人印象深刻的15%的提升,同时只需要一半的标记数据。该模型可以通过进一步的微调适用于各种任务,包括森林砍伐追踪、作物产量预测以及温室气体的检测与监测。IBM和NASA还与克拉克大学合作,探索时间序列分割和相似性研究等应用。 IBM的地理空间模型利用了其基础模型技术,这是该公司更广泛努力的一部分,旨在为各种任务创建和训练AI模型,并利用场景之间的知识转移。今年7月,IBM推出了Watsonx,这是一个AI和数据平台,使企业能够利用可靠的数据扩展和加速先进AI的影响。集成到IBM环境智能套件(EIS)的商业版本的地理空间模型预计将于今年晚些时候发布。 总之,IBM和Hugging Face之间的合作,加强了NASA的卫星数据的支持,代表了推动科学进步和加深我们对地球气候的理解的有希望的机会。这个模型的开源性有望赋予全球研究人员和科学家在应对紧迫环境挑战方面的能力。
Leave a Comment随着每周发布的新模型数量不断增加,大型语言模型(LLM)的流行度持续飙升随着这些模型的数量增加,我们可以选择的托管选项也越来越多在我的…
Leave a Comment介绍 了解用户需求对于任何与用户相关的业务来说都是至关重要的。但这也需要大量的辛勤工作和分析,而这是非常昂贵的。为什么不利用机器学习呢?通过使用Auto ML,可以减少编码量。 在本文中,我们将利用HuggingFace AutoTrain和Kili构建一个用于文本分类的主动学习流水线。Kili是一个通过质量训练数据创建的数据中心方法来赋能机器学习的平台。它提供了协作数据标注工具和API,使可靠的数据集构建和模型训练之间的快速迭代成为可能。主动学习是一个过程,其中您将标记的数据添加到数据集中,然后进行迭代地重新训练模型。因此,它是无限的,并且需要人类来标记数据。 作为本文的一个具体示例用例,我们将使用来自Google Play Store的VoAGI用户评论来构建我们的流水线。然后,我们将使用我们构建的流水线对评论进行分类。最后,我们将对分类的评论应用情感分析。然后我们将分析结果,更容易理解用户的需求和满意度。 使用HuggingFace进行自动训练 自动化机器学习是指自动化机器学习流程的一个术语。它还包括数据清洗、模型选择和超参数优化。我们可以使用🤗 transformers进行自动化的超参数搜索。超参数优化是一个困难且耗时的过程。 虽然我们可以通过使用transformers和其他强大的API自己构建我们的流水线,但也可以使用AutoTrain进行完全自动化。AutoTrain是建立在许多强大的API(如transformers、datasets和inference-api)之上的。 数据清洗、模型选择和超参数优化步骤在AutoTrain中都是完全自动化的。可以充分利用这个框架为特定任务构建可供生产使用的SOTA转换器模型。目前,AutoTrain支持二分类和多标签文本分类、标记分类、抽取式问答、文本摘要和文本评分。它还支持英语、德语、法语、西班牙语、芬兰语、瑞典语、印地语、荷兰语等许多语言。如果您的语言在AutoTrain中不受支持,也可以使用自定义模型和自定义分词器。 Kili Kili是一个面向数据中心业务的端到端AI训练平台。Kili提供了优化的标注功能和质量管理工具来管理您的数据。您可以快速注释图像、视频、文本、pdf和语音数据,同时控制数据集的质量。它还具有用于GraphQL和Python的强大API,极大地简化了数据管理。 它可在线或本地使用,并且可以在计算机视觉、自然语言处理和OCR上实现现代机器学习技术。它支持文本分类、命名实体识别(NER)、关系抽取等NLP/OCR任务。它还支持计算机视觉任务,如目标检测、图像转录、视频分类、语义分割等等! Kili是一种商业工具,但您也可以创建一个免费的开发者帐户来尝试Kili的工具。您可以从定价页面了解更多信息。 项目 我们将以评论分类和情感分析为例,来了解一个移动应用程序的见解。 我们从Google Play Store中提取了大约4万条VoAGI的评论。我们将逐步对此数据集中的评论文本进行标注。然后我们将构建一个评论分类的流水线。在建模过程中,第一个模型将使用AutoTrain准备。然后我们还将构建一个不使用AutoTrain的模型。 项目的所有代码和数据集都可以在GitHub存储库中找到。 数据集 让我们首先看一下原始数据集,…
Leave a Comment本文也有简体中文版,请点击这里阅读。 欢迎来到我们为中文用户打造的博客! 我们很高兴地推出了Hugging Face面向中文用户的新博客:hf.co/blog/zh!一批志愿者致力于将我们宝贵的资源进行翻译,包括博客文章和关于transformers、diffusion和强化学习的全面课程。这一举措旨在使我们的内容更加易于访问于不断增长的中国AI社区,促进相互学习和合作。 认可中国AI社区的成就 我们想要突出中国AI社区的卓越成就和贡献,该社区展现了卓越的才能和创新。开创性的进展,如HuggingGPT,ChatGLM,RWKV,ChatYuan,ModelScope的文本到视频模型以及IDEA CCNL和BAAI的贡献,彰显了社区的巨大潜力。 此外,中国AI社区还积极参与创建时尚的空间,如川湖GPT和GPT学院,进一步展示了其热情和创造力。 我们一直与PaddlePaddle等组织合作,以确保与Hugging Face的无缝集成,为机器学习领域的更多合作努力赋予更多力量。 加强合作关系和未来活动 我们为与中国合作伙伴的合作历史感到自豪,我们曾共同参与各种活动,促进了知识交流和合作,推动了AI社区的发展。我们的一些合作努力包括: 与DataWhale合作的在线ChatGPT课程(正在进行中) 北京首次线下聚会,为JAX/Diffusers社区活动 与百姓AI共同组织的Prompt工程黑客马拉松 与PaddlePaddle合作的Lora模型微调 与HeyWhale合作的稳定扩散模型微调活动 我们很高兴地宣布,我们将继续通过促进更多的合作和共同努力来加强与中国AI社区的联系。这些举措将为知识分享和专业交流创造机会,推动我们社区之间的协作开源机器学习,并应对合作操作系统机器学习领域的挑战和机遇。 超越界限:拥抱多元化的AI社区 在我们迈入这个新篇章的同时,我们与中国AI社区的合作将成为一个平台,弥合文化和语言的障碍,促进AI领域的创新与合作。在Hugging Face,我们重视多元化的观点和声音,致力于创建一个友好和包容的社区,推动道德和公平的AI发展。 加入我们,共同踏上这个激动人心的旅程,敬请关注我们的博客,了解有关中国社区的进展和未来的合作努力的更多更新! 您也可以在以下平台找到我们: BAAI,Bilibili,CNBlogs,CSDN,掘金,开源中国,SegmentFault,知乎
Leave a Comment由于文本引导扩散模型在图片创作中展现出的出色逼真度和多样性,人们对此产生了极大的兴趣。随着大规模模型的引入,用户在创建照片时拥有了无与伦比的创作灵活性。因此,一些正在进行的研究项目专注于探索如何使用这些强大的模型进行图片操作。最近的研究进展展示了使用纯文本扩散技术进行基于文本的图片操作。其他研究人员最近提出了语义引导(SEGA)的概念用于扩散模型。 SEGA展示了先进的图片组合和编辑技能,并且在当前生成过程中无需外部监督或计算。SEGA相关的概念向量被证明是可靠、独立、灵活且单调缩放的。其他研究还探讨了基于语义理解创建图片的不同方法,例如Prompt-to-Prompt,它使用模型的交叉注意力层中的语义数据将像素与文本提示符令牌连接起来。尽管SEGA不需要基于令牌的条件,并且允许多种语义改变的组合,但是在交叉注意力图上的操作可以对生成的图片产生多样化的改变。 现代技术必须用于反转给定图片,以进行基于文本引导的真实图片编辑,这是一个重大障碍。为了实现这一点,需要找到一系列噪声向量,当作为扩散过程的输入时,可以产生输入图片。在大多数基于扩散的编辑研究中,使用了一种从单一噪声图到生成图片的确定性映射技术,称为去噪扩散隐式模型(DDIM)。其他研究人员提出了一种针对去噪扩散概率模型(DDPM)方案的反转方法。 对于DDPM方案中用于扩散生成过程的噪声图,他们提出了一种计算噪声图的新方法,使其与传统DDPM采样中使用的噪声图有所不同,具有更大的方差,并且在时间步长上更相关。与DDIM基于反转的技术相比,友好编辑的DDPM反转在基于文本的编辑任务上展示出了最先进的结果(单独使用或与其他编辑方法结合),并且可以为每个输入图片和文本生成多种输出。在这篇综述中,来自HuggingFace的研究人员想要随意研究SEGA和DDPM反转方法或LEDITS的配对和集成。 在LEDITS中,语义引导扩散生成机制进行了修改。这个更新将SEGA方法论扩展到了真实照片上。它提供了一种结合了两种方法同时编辑能力的编辑策略,并且展示了使用尖端技术的竞争性定性结果。他们还提供了一个HuggingFace演示以及相关代码。
Leave a Comment大型语言模型(LLMs)是人工智能(AI)领域的一项重大突破性进展。这些模型(例如 GPT-3)彻底改变了自然语言理解。由于这些模型具有解释大量现有数据和生成类似人类的文本的能力,因此这些模型具有巨大的潜力,可以塑造人机交互和通信的未来并开启新的可能性。然而,尽管 LLMs 取得了巨大的成功,但与此类模型通常相关的一个显著挑战是它们的计算效率低下,即使在最强大的硬件上也会导致性能缓慢。由于这些模型包含数百万乃至数十亿个参数,因此训练此类模型需要广泛的计算资源,内存和处理能力,并非总是可用。此外,这些具有缓慢响应时间的复杂体系结构可能使 LLMs 无法实用于实时或交互式应用程序。因此,解决这些挑战变得至关重要,以释放 LLMs 的全部潜力并使其好处更广泛地可用。 针对这个问题陈述,加州大学伯克利分校的研究人员开发了 vLLM,这是一个开源库,是 LLM 推理和服务的一个更简单,更快速,更便宜的替代方案。目前,大型模型系统组织(LMSYS)正在使用该库来驱动其Vicuna和 Chatbot Arena。通过切换到 vLLM 作为其后端,与最初基于 HuggingFace 转换器的后端相比,研究组织已成功高效地处理峰值流量(比以前多 5 倍),同时使用有限的计算资源并降低高运营成本。目前,vLLM 支持几个 HuggingFace 模型,如 GPT-2,GPT BigCode…
Leave a Comment一个重要的方面是要考虑到反比例缩放问题,这可能会影响更大的LLM的表现虽然这可能会带来挑战,但也为改进和优化提供了机会通过解决这个问题,我们可以增强这些模型的整体能力,使它们更有效地处理各种任务这些潜在的改进突显了更大的LLM在人工智能领域的价值和潜力
Leave a Comment在ODSC网络研讨会中,Pandata的Nicolas Decavel-Bueff和我(Cal Al-Dhubaib)与Data Stack Academy的Parham Parvizi合作,分享了我们在构建企业级大型语言模型(LLMs)方面的一些经验教训,以及数据科学家和数据工程师如何入门的建议其中一个最重要的…
Leave a Comment本文探讨了顶级的生成性人工智能框架和工具发现释放想象力和探索生成性人工智能潜力所需的资源
Leave a Comment在这篇文章中,我们展示了使用参数高效微调 (PEFT) 方法对 Llama 2 模型进行微调,并将微调后的模型部署在 AWS Inferentia2 上我们使用 AWS Neuron 软件开发工具包 (SDK) 来访问 AWS Inferentia2 设备,并从其高性能中受益然后,我们使用一个由 […] 提供支持的大型模型推断容器
Leave a Comment谁有钱花在超过24GB的GPU上?特别是当我们只是想测试一下,试试操控它,还有本地运行游玩!我们是…
Leave a Comment大型语言模型(或LLM)已成为日常对话的话题它们被迅速采用的证据是从“Facebook的4.5年”到“ChatGPT的短短2个月”的时间内就达到了1亿用户的数量生成式预训练变压器(GPT)使用因果自回归更新[…]
Leave a CommentLLMs可以通过在与代码相关的数据集上进行微调来生成代码片段,包括函数调用。这些模型可以根据提供的输入来提供关于函数调用的建议或生成代码,通过提供上下文或提示来提供关于函数调用的建议或生成代码。语言模型可用于自然语言理解代码相关的查询或指令。开发者可以输入问题或描述,模型可以解释这些内容并提供相关的函数调用或代码段作为答案。 LLMs可以通过根据上下文或部分代码提供的内容提出函数调用或建议相关的函数来协助完成代码。这有助于开发者更快地编写更准确的代码。LLMs可以根据给定的任务或问题描述引导合适的API或过程,以帮助开发者找到其代码中需要调用的正确函数。将LLMs集成到开发环境中可为开发者提供实时协助,指导他们进行函数调用、参数类型或潜在错误的处理。 Nexusflow的研究人员提出了一个开源的LLM模型,NexusRaven-V2。它可以将自然语言指令转换为可使用工具的可执行代码。OpenAI Assistant API是实现协助工具和代理程序使用软件工具的关键。NexusRaven-V2旨在推进合作伙伴和代理程序的开源模型。 在涉及嵌套和复合函数的人工生成用例中,NexusRaven-V2的函数调用成功率比GPT-4高出最多7%。NexusRaven经过了针对Meta的CodeLlama-13 B指令进行的调整。它使用Nexusflow的管道,仅从开源代码语料库中来源,而不使用专有的LLM。对于社区开发者和企业来说,它具有商业上的宽容度。 观察到,在我们的人为策划基准测试中,NexusRaven-V2的函数调用成功率平均比最新的GPT-4模型高出4%。值得注意的是,在4个需要嵌套和复合函数调用的挑战性任务中,NexusRaven-V2表现出比GPT-4更强大的适应性,能够处理开发者对函数描述的差异。 该团队发布了开源的工具,使用户能够无缝替换主流专有的函数调用API,并在其软件工作流程中使用NexusRaven-V2。他们还提供在线的演示和Colab笔记本,用于入门和集成演示。他们公开了评估基准测试Nexus-Function-Calling并建立了一个Huggingface 排行榜,其中包含大量真实的人工策划的函数调用示例,涵盖了各种函数调用用例和难题。 在未来,函数调用LLMs可以受益于教育环境,为学习者提供实时协助,指导他们正确调用函数,从而帮助他们理解编程概念。
Leave a Comment介绍 你准备好了吗,要在没有依赖OpenAI和LM Studio的情况下创建你的AI团队了吗?不再需要花大钱或下载应用程序。从设置llama-cpp-python到使用autogen框架探索本地LLM的强大功能。准备好在不依赖OpenAI API的情况下发挥Autogen的全部潜力了吗。 学习目标 在我们深入了解细节之前,让我们概述本文的关键学习目标: 学习如何评估和比较不同的AI库和工具。 探索llama-cpp-python作为OpenAI API的替代方案。 将所获知识应用于两个真实世界的用例:构建算法导师团队和自动化财务图表生成。 通过集成的IPython探索AutoGen改进的用户体验,实时执行代码并看到结果。 本文是数据科学博客马拉松的一部分。 认识你的工具:Llama-cpp-python,AutoGen和本地LLMs 但是你可能会问,这个技术工具包有什么特别之处?Llama-cpp-python是你在本地运行LLMs的入口,包括像LLaMA这样的大牌。就像你的电脑上有AI超级明星,而且支持不同的BLAS后端,速度超乎想象! AutoGen AutoGen是一个统一的多代理对话框架,作为使用基础模型的高级抽象。它结合了能力强大、可定制和可对话的代理,通过自动对话集成LLMs、工具和人类参与者。它使代理能够自主沟通和协作,有效地简化复杂任务并自动化工作流程。 如果你渴望深入了解AutoGen的能力,并探索它如何促进战略性的AI团队建设,不妨看看我们专门的博客:“借助AutoGen轻松实现战略性AI团队建设。”这个综合资源提供了见解、用例和更详细的介绍,展示了AutoGen如何改变你的AI开发方式。 库/工具 一些库/工具提供了一个Web服务器,旨在替代OpenAI API。 除了上述选项,还有其他选择,但最佳选择取决于你的偏好和需求。 Llama-cpp-python Llama-cpp-python是llama.cpp库的Python绑定。它通过ctypes接口提供对C API的低级访问,提供了高级Python API用于文本补全、类似OpenAI的API和LangChain兼容性。它支持多个BLAS后端以加快处理速度,也支持硬件加速。…
Leave a Comment在2023年,如Alpaca、Falcon、Llama 2和GPT-4这样的大型语言模型(LLMs)的崛起显示出一种向人工智能民主化的趋势
Leave a Comment尽管在各个行业中,似乎无法阻挡的对LLM的采用,但它们只是整个技术生态系统中的一个组成部分,为新的AI浪潮提供动力许多对话型AI应用需要LLM,如Llama 2、Flan T5和Bloom,以回答用户的查询这些模型依赖参数化知识来回答问题模型[…]
Leave a Comment加州大学伯克利分校的研究团队引入了Starling-7B,一个采用AI反馈强化学习(RLAIF)的开源大型语言模型(LLM)。借助先进的GPT-4标记的排名数据集Nectar以及精心设计的奖励训练和策略调整流程,Starling-7B-alpha在语言模型性能方面树立了新的标准,在MT-Bench上超越了所有模型,除了OpenAI的GPT-4和GPT-4 Turbo。 强化学习的潜力 虽然监督微调在聊天机器人系统开发中已经表现出了有效性,但是强化学习从人类反馈(RLHF)或AI反馈(RLAIF)中提升模型在规模上的潜力一直受到了有限的探索。早期的模型,如Zephyr-7B和Neural-Chat-7B,在与领先的监督微调(SFT)模型相比没有充分展示RLHF的潜力。 为了弥补这一差距,研究团队推出了Nectar,一个精心设计的高质量排名数据集,专门为聊天而量身定制,包括183K个提示和380万个成对比较。该数据集旨在促进对RLHF的更全面研究,提供了从各种模型中获取的多样化的提示。 奖励模型Starling-RM-7B-alpha的发布以及在HuggingFace上进行的精调LLM模型Starling-LM-7B-alpha的发布,标志着开源人工智能研究的重要进展。值得注意的是,该模型的MT-Bench分数从7.81上升到令人印象深刻的8.09,伴随着AlpacaEval的显著提高,将聊天机器人的有用性从88.51%提升至91.99%。 还阅读: 什么是强化学习以及它如何工作(2023年) 模型评估 评估Starling-7B存在独特的挑战。随着RLHF后LLM表现出卓越的有用性和安全特性,MT-Bench和AlpacaEval分数的提高证明了这一点。然而,它在基于知识的问答、数学和编码方面的基本能力仍然保持稳定或略有下降。 将其纳入LMSYS聊天机器人竞技场进行直接聊天和匿名比较提供了测试人类偏好的平台。评估还突出了使用OpenLLM排行榜作为聊天模型基准的局限性,强调了Alpaca Eval和MT-Bench提供的微妙评估的重要性。 合成偏好数据的Goodhart定律 需要考虑的一个关键方面是合成偏好数据的Goodhart定律。虽然更高的MT-Bench分数表示根据GPT-4的改进模型性能,但不一定与人类偏好相关。RLHF主要增强了响应风格,特别是在有用性和安全性等方面,展示了在线RL方法在广泛的偏好数据上的扩展潜力。 局限性 尽管Starling-7B表现出色,但在涉及推理或数学任务方面仍存在局限性。此外,对越狱提示的敏感性和偶尔输出过于冗长的问题也得到了承认。研究团队致力于持续改进,欢迎社区的合作,以加强开放数据集、奖励模型和使用RLHF的语言模型。 我们的观点 以其RLAIF方法和细致入微的数据集创建,Starling-7B体现了强化学习在语言模型中的潜力。尽管仍面临挑战和限制,但对改进的承诺以及与更广泛社区的合作,使Starling-7B成为人工智能研究领域中前沿的标杆。请继续关注更多更新,团队将深入探讨RLHF机制的优化和对人工智能安全研究的贡献。
Leave a Comment大家都知道,根据定义,大型语言模型就是大型的而且,就在不久前,它们只能供高端硬件所有者使用,或者至少是为了使用云端服务而付费的人们才能使用…
Leave a Comment介绍 在不断发展的技术领域中,人工智能(AI)已成为一股变革力量。从最初的基本算法到现代机器学习模型的复杂性,AI的发展之路确实是一场革命。现在,随着生成AI库在搜索中的出现,一个引人入胜的篇章展开了。但是,到底什么是genAI呢? 跨入未来,体验生成AI的魅力!与传统模型不同,genAI能够创建新的数据,重塑产业。像ChatGPT这样的工具引领着变革商业格局的道路。探索“2024年的前5个生成AI库”,揭示尖端AI工具的力量和潜力。从重新定义创新到革新用户体验,这些库标志着AI进化的前沿。让我们一起踏上这个激动人心的未来生成AI之旅! 什么是生成AI库? 生成AI库是生成人工智能的基石,作为预训练模型和算法的存储库。本质上,这些库赋予开发者和企业利用AI的创造潜力,而无需从头开始。通过提供学习模式和数据的基础,生成AI库可以生成各种输出,从文本和音乐到视觉。利用这些库可以简化开发过程,促进创新和效率。生成AI库使得广泛范围的应用和行业能够轻松获取先进的AI能力,实现了普惠性。 通过实践学习,提升你的生成AI技能。通过我们的GenAI Pinnacle Program,探索向量数据库在高级数据处理中带来的奇迹! 2024年使用的前5个生成AI库 1. Open AI OpenAI的API是生成AI中的一项突破性工具,为深入参与到生成AI领域的专业人士提供了一种变革性的解决方案。该API以灵活的“输入文本,输出文本”界面脱颖而出,允许生成AI专业人士将其无缝集成到日常工作和项目中。它对于几乎任何英语语言任务都具有适应性,为实验、开发和探索提供了广阔的空间。 该API在理解和执行任务时表现出色,只需少量示例即可。这是生成AI编程的直观选择,使专业人士能够简化工作流程,将精力集中在创造性输出上,而不是复杂的系统问题。该API的灵活性还包括通过任务特定训练来提高性能,使用户可以根据自己提供的数据集或反馈进行定制。OpenAI对简洁性的承诺确保了对广泛用户群体的易用性,而对技术的持续升级则表明了对快速发展的机器学习领域保持步伐的承诺。 此外,OpenAI对负责任的AI使用的强调在其对有害应用的谨慎监控和终止访问中体现出来。私人测试版的发布反映了对用户安全的承诺,并伴随着对语言技术与安全相关方面的持续研究。使用OpenAI的API的生成AI从业者创造了一个有力的工具,为积极的AI系统做出贡献。这个API不仅仅带来收入方面的效益,还推动了通用AI的进步,消除了障碍,推动着生成AI社区朝着无限可能的未来迈进。 2. PandasAI PandasAI是一款革命性的生成AI驱动的数据分析库,它重新塑造了生成AI专业人士日常任务的格局,为数据分析和处理带来了范式转变。建立在广泛使用的Pandas库的基础上,PandasAI通过融合生成AI模型来提高生产力。通过自然语言界面,传统的Pandas任务,如预处理和数据可视化,得到了提升。 PandasAI的吸引力在于它能够将复杂的编码过程转化为自然语言界面。生成AI消除了对广泛编码知识的需求,使数据科学家可以通过与数据集进行对话来查询数据集。这一创新极大地加快了预处理和分析阶段,是传统编码实践的一次离开。该库开启了新的可能性,使得技术和非技术专业人士都能够轻松地与数据集进行交互。 PandasAI的核心是生成式人工智能(GenAI),这是一种通过识别现有数据中的模式来产生多样数据类型的子集。通过利用GenAI,PandasAI引领了一个新时代,用户无需编写复杂的代码,而是可以用自然语言表达他们的意图,并见证他们的指令精确执行。这种转变的方法不仅简化了日常任务,还为生成式人工智能领域的数据分析过程铺平了道路,使其更具包容性和高效性。 3. HuggingFace Transformers HuggingFace Transformers为GenAI专业人士提供了一套改变日常任务和项目的转型工具集。该库提供超过20,000个预训练模型的即时访问,所有这些模型都基于最先进的Transformer架构,为数据科学家、人工智能从业者和工程师们提供了民主化的自然语言处理(NLP)工具。…
Leave a Comment我们已经成功地将基于扩散模型的 LoRA Hub 推断速度大大提高。这使得我们能够节省计算资源并提供更好的用户体验。 要对给定的模型进行推断,有两个步骤: 预热阶段 – 包括下载模型和设置服务(25秒)。 推断作业本身(10秒)。 通过这些改进,我们能够将预热时间从25秒减少到3秒。我们能够为数百个不同的 LoRA 提供推断服务,只需要不到 5 个 A10G GPU,同时用户请求的响应时间从 35 秒减少到 13 秒。 让我们更详细地讨论如何利用在 Diffusers 库中开发的一些最新功能,以一种动态方式使用单一服务为许多不同的 LoRA 提供服务。…
Leave a Comment尽管关于检索增强生成(RAG)的讨论很广泛,尤其是在其应用于基于聊天的语言模型方面,但在本文中,我们旨在从不同的角度来观察并分析其…
Leave a Comment介绍 在自然语言处理中,语言模型经历了一段变革性的旅程。虽然人们通常关注像GPT-3这样的庞大模型,但小型语言模型的实用性和可访问性不容小觑。本文是一个全面的指南,旨在理解小型语言模型的重要性,并详细介绍如何在本地CPU上运行它们的步骤。点击这里。 图片来源:Scribble Data 理解语言模型 语言模型的定义 语言模型本质上是一个设计用于理解和生成类似人类语言的系统。在数据科学领域,这些模型在聊天机器人、内容生成、情感分析和问答等任务中发挥关键作用。 不同类型的语言模型 尽管小型语言模型体积较小,但具有独特的优势。它们高效、快捷、可定制用于特定领域任务,并通过在本地CPU上运行保护数据隐私。 在数据科学中使用语言模型的案例 它们的多功能应用体现在各种数据科学应用中。应用范围涵盖具有高日常流量的实时任务,并满足特定领域需求的复杂性。 通过实践学习提升生成式人工智能能力。通过我们的GenAI Pinnacle计划,发现向量数据库在高级数据处理中的奇迹! 在本地CPU上运行小型语言模型的步骤 步骤1:设置环境 成功在本地CPU上运行语言模型的基础在于建立正确的环境。这包括安装必要的库和依赖项。比较流行的基于Python的库有TensorFlow和PyTorch,它们提供了用于机器学习和深度学习的预建工具。 所需工具和软件 Python TensorFlow PyTorch 我们可以使用Python的虚拟环境来实现这个目的: pip install virtualenvvirtualenv myenvsource…
Leave a Comment将以下HTML代码翻译成中文(保留HTML代码): 大型语言模型(LLM)是用于自然语言处理任务的人工智能模型。这些模型经过大规模的数据集训练,能够理解和生成人类般的文本。它们通过理解和生成人类般的文本,改变了自然语言处理的方式。在生活中各个领域都具有实用性。 加州大学伯克利分校的研究人员推出了一个名为Starling-7B的开放大型语言模型(LLM),该模型通过基于强化学习的人工智能反馈(RLAIF)进行训练。该模型利用我们最近开发的奖励训练和策略调整管道、我们的新GPT-4标记分类数据集(Nectar)以及先进的奖励训练和策略调整管道。 https://starling.cs.berkeley.edu/ Starling-7B的基础是GPT-4标记分类数据集(Nectar)。该数据集包含183,000条聊天提示,每个提示提供了来自不同模型(如GPT-4、GPT-3.5-instruct、GPT-3.5-turbo、Mistral-7B-Instruct和Llama2-7B)的七个回复,共计380万个配对比较。为了确保公正性,在提示GPT-4进行排名时,研究人员付出了相当大的努力来减小位置偏差,这个过程在数据集部分详细说明。 https://huggingface.co/berkeley-nest/Starling-LM-7B-alpha 他们使用了一个学习奖励模型来改进Openchat 3.5语言模型,并取得了令人印象深刻的结果。AlpacaEval得分从88.51%增加到91.99%,而MT-Bench得分从7.81增加到8.09。这些度量标准作为评估聊天机器人有多实用的标准。 研究人员使用直接优化偏好(DPO)将该模型与早期的开源模型(如Zephyra-7B、Neural-Chat-7B和Tulu-2-DPO-70B)进行了测试。虽然这些模型在聊天机器人领域表现良好,但与顶级SFT模型(如OpenHermes 2.5和Openchat 3.5在MT Bench中)相比,它们可能没有充分发挥RLHF的潜力。 研究人员强调该模型存在一定的挑战。它容易受到欺骗或操纵方法的影响。此外,模型在处理数学或推理任务时存在困难,并且其输出的事实准确性只能有时保证。他们还指出,模型偶尔会过于冗长,容易被越狱提示所影响。他们表示,依然致力于改进Starling-7B的这些缺陷。 为了解决这个问题,他们提出通过利用基于规则的奖励模型来进一步改进该模型,其中GPT-4作为指导,使用GPT-4技术报告中概述的技术。 总之,Starling-7B代表了LLM的重大进展,展示了通过人工智能反馈进行强化学习的可能性。自然语言处理领域正在因这些模型与社区共享的知识的合作而得到增强。研究人员正在努力改进模型的性能并解决这些限制。 本文来源:加州大学伯克利分校研究人员介绍Starling-7B:一种基于强化学习的开放大型语言模型(LLM) ,首发于MarkTechPost。
Leave a Comment与生成性人工智能相关的风险已经广为人知毒性、偏见、泄漏个人身份信息以及幻觉都会对组织的声誉和客户信任造成负面影响研究表明,不仅偏见和毒性风险会从预训练的基础模型转移到特定任务的生成性人工智能服务中,而且通过为特定任务调整基础模型还会产生如下影响[…]
Leave a Comment介绍 11月在人工智能领域发生了许多重大事件。从GPT存储的推出,到GPT-4-turbo的发布,再到OpenAI的惨败,这一切都引发了一个重要的问题:封闭模型和背后的人员有多可靠?当你在生产中使用的模型因为一些内部公司事件而崩溃时,这将会是一次不愉快的经历。这对于开源模型来说并不是一个问题。您对部署的模型拥有完全控制权。您对数据和模型都有主权。但是是否可以用GPT代替开源模型?值得庆幸的是,许多开源模型已经达到或超过了GPT-3.5模型的性能。本文将探讨一些性能最佳的开源LLMs和LMMs替代方案。 学习目标 讨论开源大型语言模型。 探索最先进的开源语言模型和多模态模型。 对大型语言模型进行轻量化介绍。 了解在本地和云端运行LLMs的工具和服务。 本文作为数据科学博文马拉松的一部分发表。 什么是开源模型? 当模型的权重和架构是自由可用的时,我们称之为开源模型。这些权重是大型语言模型的预训练参数,例如Meta的Llama。这些通常是基础模型或未经调优的原始模型。任何人都可以使用这些模型,并将其在自定义数据上进行微调,以执行下游操作。 但是它们是否是真正的开源?数据呢?由于有关版权内容和数据敏感性的种种问题,大多数研究实验室都不会公开发布训练基础模型时所使用的数据。这也涉及到模型的许可问题。每个开源模型都有类似于任何其他开源软件的许可证。许多基础模型(例如Llama-1)配有非商业许可证,这意味着您不能使用这些模型来赚钱。但是像Mistral7B和Zephyr7B这样的模型配有Apache-2.0和MIT许可证,可以在任何地方使用而不会有顾虑。 开源替代方案 自从Llama发布以来,开源领域一直在追赶OpenAI模型。迄今为止,取得了令人鼓舞的成果。在GPT-3.5发布一年内,我们已经拥有了参数更少但在性能上与GPT-3.5相媲美甚至更好的模型。但是GPT-4仍然是执行从推理和数学到代码生成等各种一般任务的最佳模型。进一步观察开源模型领域的创新和资金支持的步伐,我们很快将会有越来越接近GPT-4性能的模型。现在,让我们讨论一些出色的开源模型的替代方案。 Meta’s Llama 2 Meta在今年7月发布了他们最好的模型Llama-2,并因其令人印象深刻的能力而迅速走红。Meta发布了四个不同参数规模的Llama-2模型,分别是Llama-7b、13b、34b和70b。这些模型在各自的类别中足以击败其他开源模型。但是现在,诸如mistral-7b和Zephyr-7b等多个模型在许多基准测试中优于较小的Llama模型。Llama-2 70b仍然是其类别中最好的之一,可以作为GPT-4在摘要、机器翻译等任务上的替代品。 Llama-2在许多基准测试中表现优于GPT-3.5,并且能够接近GPT-4,使其成为GPT-3.5甚至在某些情况下是GPT-4的一个有价值的替代品。以下图表是由Anyscale提供的Llama和GPT模型的性能比较。 有关Llama-2的更多信息,请参阅HuggingFace上的博客。这些LLM经过微调后在自定义数据集上表现良好。我们可以对模型进行微调,以在特定任务中发挥更好的性能。 不同的研究实验室也发布了经过微调的Llama-2版本。这些模型在许多基准测试中显示出比原始模型更好的结果。这款经过微调的Llama-2模型,Nous-Hermes-Llama2-70b,由Nous Research经过超过300,000个自定义指令进行了微调,使其比原始的meta-llama/Llama-2-70b-chat-hf更好。 查看HuggingFace的排行榜。您可以找到比原始模型效果更好的经过微调的Llama-2模型。这是开源模型的优点之一。根据需求,可以选择多种模型。 Mistral-7B Mistral-7B发布以来,它已成为开源社区的宠儿。它的性能要远远优于同类模型,并接近GPT-3.5的能力。这个模型可以在许多情况下替代Gpt-3.5,比如摘要、改写、分类等。…
Leave a Comment虽然像GPT-4和LLaMA这样的大型语言模型正在快速重新塑造现代应用,但它们的推理速度较慢且很难优化,因为它们是基于自回归解码的。LLM的请求延迟主要取决于请求的答案长度,或者等效地说,解码步骤的数量,因为每个自回归解码步骤一次只产生一个标记。不幸的是,当前的GPU并行处理能力通常没有得到充分利用,因为每个解码步骤没有利用它。这对于许多实际的LLM应用(如聊天机器人和个人助理)来说是个问题,它们依赖于即时响应,并因此经常产生具有低延迟的大序列。 自回归解码可以通过使用像Medusa和OSD这样的猜测解码方法加速,这些方法使用“猜测和验证”的策略,其中初步模型对未来的几个可能标记进行预测,然后原始LLM并行地检查这些预测。这些方法可以通过利用需要更少解码步骤时的情况来减少延迟。然而,它们也有一些限制。首先,标记接受率,或者等效地说,草稿模型正确预测主模型输出的能力,是基于猜测解码方法能够实现的最大速度增加的上界。其次,开发可靠的初步模型并不容易,通常需要更多的训练和精心调整来应对随时间变化的流量变化。 LMSYS ORG的一项新研究提出了前瞻解码,这是一种新颖的精确解码技术,用于解决这些困难。虽然在单个步骤中解码许多连续标记在计算上是不可行的,但观察到LLM可以同时生成多个正交n-gram。这些n-gram有可能适应所创建序列的未来部分。传统的雅可比迭代方法被改进为并行解码,这样可以将自回归解码视为非线性方程的解。生成的n-gram被记录、检查,然后(如果合适)被并入序列。前瞻解码特别值得注意的是: 它不使用初步模型,从而加速了推出速度。 对于每个阶段,通过log(FLOPs)因子减少了总解码步骤的数量。 研究人员证明了前瞻解码显著降低了延迟,达到了1.5倍到2.3倍的减少,而几乎没有增加计算负担。最重要的是,它允许在处理方面的权衡来减少延迟,尽管收益递减。 研究人员已经创建了他们的实现,使前瞻解码与huggingface/transformers配合使用。HuggingFace提供了一个本地生成的函数,但用户可以通过几行代码显著提高其效率。 雅可比迭代是一种解决非线性系统的历经验证的技术。LLM推理也可以用于并行生成标记,而无需预训练模型。由于雅可比解码的每个步骤都涉及对>1个标记的LLM前向计算,因此从所需的FLOPs角度来看,它比每个自回归解码步骤更昂贵。研究人员观察到,在尝试显着提高雅可比解码在实际应用中的墙钟性能时可能会遇到几个困难。虽然它可以在一系列步骤中解码多个标记,但它通常会错误地排列它们的顺序。即使正确地预测,标记也经常在下一个周期被替换。因此,很少有迭代成功地同时解码和正确放置多个标记。由于这一点,使用并行解码的整个目的被取消了。通常,它不会导致性能下降,因为图形处理单元具有并行处理能力。 前瞻解码可以通过利用雅可比解码生成并行n-gram的能力来避免其缺点。在一个位置处,每个新标记都是使用之前迭代中该位置的值进行解码,就像雅可比解码中一样。由于这个过程,会形成许多n-gram,这在每个标记位置上建立了历史标记的时间线。为了使用这些,前瞻解码将根据它们的轨迹收集和缓存这些n-gram。前瞻解码同时从缓存中检查有希望的n-gram,并使用雅可比迭代进行未来标记的并行解码。 每个前瞻解码阶段都被分为两个平行分支——前瞻分支和验证分支,以提高效率。为了从雅可比迭代轨迹中生成n-gram,前瞻分支保持一个大小恒定的二维窗口。同时,验证分支选择并检查显示潜力的n-gram候选项。 由于内存带宽是LLM解码的主要瓶颈,研究人员将前瞻分支和验证分支合并为单个传递,利用GPU的并行处理能力,同时隐藏任何相关的开销。 团队对LLaMA-2-Chat和CodeLLaMA在MT-bench、HumanEval和GSM8K上的不同尺寸进行了测试,以了解他们的前瞻解码技术的有效性。前瞻解码技术可以提供速度提升,无需微调或预备模型。在fp16精度下,他们在单个A100 GPU上评估了7B、13B和33B模型,以及在两个A100 GPU上使用流水线并行性评估了70B模型。 MT-Bench LLaMA讨论:在许多模型配置中,前瞻解码所实现的加速比约为1.5倍。 HumanEval的CodeLLaMA:在HumanEval上使用前瞻解码时,CodeLLaMA的延迟时间缩短了两倍以上。这是因为代码中包含了许多容易猜测的N-gram。 GSM8K的教学CodeLLaMA:通过前瞻解码,CodeLLama-Instructor在GSM8K的数学挑战中将延迟时间缩短了1.8倍。 本文《‘前瞻解码’:一种并行解码算法加速LLM推断》首发于MarkTechPost。
Leave a CommentCan't find what you're looking for? Try refining your search: