Press "Enter" to skip to content

119 search results for "MLOps"

使用Amazon SageMaker Clarify和MLOps服務,以大規模操作化LLM評估

在过去的几年中,大型语言模型(LLMs)因其杰出的能力而崭露头角,能够以前所未有的熟练度理解、生成和操纵文本它们的潜在应用领域从对话代理人到内容生成和信息检索,承诺着彻底改变所有行业然而,在确保负责任和…

Leave a Comment

MLOps是什么?

<img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/11/Blog-Banner-2-1-1024×576.png”/><img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/11/Blog-Banner-2-1-150×150.png”/><p>机器学习运营,或MLOps,是一套用于通过将机器学习(ML)开发和ML部署结合起来,以标准化和简化在生产中连续交付高性能模型的过程。</p><p>制作和完善ML模型被称为ML开发。部署机器学习模型是将它们发布供在生产环境中使用。</p><p>通过自动化将ML模型从开发移至生产所需的过程,MLOps弥合了这两种方法之间的差距。这有助于快速和有效地部署ML模型,并保证其在工业环境中的持续成功。</p><p><strong>MLOps的好处有哪些?</strong></p><p>MLOps的价值在于它使企业能够:</p><ul><li>MLOps简化了将ML模型从开发到生产的流程,加快了部署速度,为组织提供了优势。</li><li>MLOps通过确保在训练环境一致的生产环境中部署ML模型,帮助企业提高机器学习(ML)模型的质量。这样做减少了模型随着基础数据分布的变化而逐渐失去准确性的可能性。</li><li>通过自动化管理和监控生产中的ML模型的过程,MLOps能够降低ML运营的高成本。员工因此可以将更多时间投入到其他项目中,如创建新的ML模型。</li></ul><p><strong>那么,MLOps到底是如何工作的呢?</strong></p><p>连续集成和交付(CI / CD)流水线通常用于实施MLOps。构建,测试和发布软件应用程序都是可以通过CI / CD流水线自动化的过程。</p><p>以下是MLOps CI / CD流水线中的典型步骤示例:</p><ul><li>使用过去收集的数据训练ML模型。</li><li>将ML模型与保留数据集进行比较进行测试。</li><li>将ML模型放入生产环境中,称为“部署”。</li><li>密切关注ML模型,确保其在生产中保持良好状态。</li></ul><p>您可以手动或自动启动CI / CD工作流。例如,当学习到机器学习模型的新版本时,可以激活流水线。</p><p><strong>用于MLOps的工具有哪些?</strong></p><p>对于MLOps,您可以选择各种有用的工具。常用工具包括:</p><ul><li>一套被称为ML框架的工具可用于训练和部署ML模型。最常用的ML框架包括TensorFlow,PyTorch和scikit-learn。</li><li>云计算平台提供了在生产中安装和管理ML模型所需的基础设施和服务。亚马逊网络服务(AWS),Google云平台(GCP)和Microsoft Azure是为MLOps而知名的云计算平台之一。</li></ul><p><strong>MLOps系统包括:</strong></p><ul><li>用于构建的集中式中心。</li><li>发布。</li><li>维护机器学习(ML)模型。</li></ul><p>Kubeflow,MLflow和Prefect是受欢迎的MLOps系统示例。</p><p><strong>如何开始使用MLOps</strong></p><p>您可以采取一些措施来开始使用MLOps:</p><p><strong>选择合适的工具:</strong>MLOps工具有各种形式。选择符合您的要求和预算的工具。</p><p><strong>设置CI / CD流水线:</strong>带有CI / CD流水线的自动化可以将ML模型从开发到生产的过程。</p><p><strong>监控您的ML模型:</strong>密切关注您的生产ML模型的表现。</p><p><strong>结论</strong></p><p>MLOps技术的目标是通过将ML开发和ML部署结合起来,标准化和简化在生产中连续交付高性能模型的过程。企业可以通过加快ML模型的部署速度,提高模型质量和降低ML运营成本从MLOps中受益。您可以采取多种措施开始使用MLOps,例如选择适当的工具,建立CI / CD流水线以及监控您的ML模型。</p> 机器学习运营,或称为MLOps,是一组流程,旨在通过将机器学习(ML)开发和ML部署结合起来,标准化和简化在生产中连续交付高性能模型的过程。 制作和优化ML模型被称为ML开发。部署机器学习模型是将它们发布供在生产环境中使用的过程。 通过自动化将ML模型从开发移到生产所需的过程,MLOps弥合了两种方法之间的差距。这有助于快速有效地部署ML模型,并使其在工业环境中保持成功。 MLOps的好处是什么?…

Leave a Comment

MLOps 使用实施欺诈交易检测

介绍 在当今数字化的世界中,人们越来越倾向于通过在线交易和数字支付来进行交易,而不是使用现金,这是因为它的便利性。随着过渡的增加,欺诈行为也在增加。欺诈交易可以是任何类型,因为它涉及使用虚假身份或虚假信息要求钱款。这给个人和金融机构带来了重大问题。在这个项目中,我们将使用信用卡数据集来设计使用Airflow工具监控实时交易并预测其是否真实或欺诈的MLOPs模型。 学习目标 检测欺诈交易的重要性。 清理数据,转换数据集和预处理数据。 对数据集进行可视化分析以获得洞察力。 在数据科学中使用欺诈交易检测模型的实际应用。 使用Python编程语言进行欺诈交易数据分析 使用MS Azure和Airflow构建端到端的欺诈检测 本文作为数据科学博文马拉松的一部分发布。 什么是欺诈交易估计模型? 欺诈交易数据集包含来自不同来源的数据,其中包含交易时间、姓名、金额、性别、类别等列。欺诈交易估计模型是一个用于预测虚假交易的机器学习模型。该模型是在大量有效交易和欺诈交易的基础上进行训练的,以预测新的虚假交易。 什么是欺诈交易分析? 欺诈交易分析是分析过去数据集的过程。数据集分析旨在发现数据中的异常情况并找出数据集中的模式。欺诈交易分析在保护客户和减少财务损失方面起着关键作用。有不同类型的欺诈交易分析,例如基于规则的分析和异常检测。 基于规则的分析:基于规则的分析涉及创建规则来标记无效交易。例如,可以根据地理区域制定规则。 异常检测:异常检测涉及发现异常或异常的交易。例如,从新的IP地址进行的交易。 检测欺诈交易的重要性 对于企业和金融机构来说,检测欺诈交易对于保护客户免受欺诈和保护他们的资金至关重要。以下是检测欺诈交易的一些关键原因。 减少财务损失:欺诈交易给企业带来巨额财务损失,从而减少它们的利润。因此,企业检测欺诈交易变得至关重要。 维护声誉:维护声誉对于企业来说是至关重要的,因为它会导致潜在客户和顾客的流失。 保护客户和企业:欺诈交易可能对客户造成财务损失和情感影响。通过检测欺诈交易,企业可以保护客户和他们的业务。 数据收集和预处理 数据收集和预处理是开发欺诈检测模型的重要部分。一旦收集到数据,需要对数据集执行多个步骤。 数据清理:数据清理包括删除不需要的数据,例如重复数据,并填充缺失的数据值。…

Leave a Comment

在数据科学中使用MLOps实施基于需求的酒店房间定价

介绍 在Covid期间,酒店业的收入大幅下降。因此,当人们开始更多地旅行时,吸引顾客仍然是一个挑战。我们将开发一种机器学习工具来解决这个问题,并设置试衣间以吸引更多顾客。利用酒店的数据集,我们将建立一个人工智能工具来选择正确的房价,提高入住率,增加酒店的收入。 学习目标 设置酒店房间正确价格的重要性。 清洗数据,转换数据集和预处理数据集。 使用酒店预订数据创建地图和可视化图表。 数据科学中使用酒店预订数据分析的实际应用。 使用Python编程语言进行酒店预订数据分析。 本文作为数据科学博客马拉松的一部分发表。 什么是酒店房价数据集? 酒店预订数据集包含来自不同来源的数据,包括酒店类型、成人数量、停留时间、特殊要求等列。这些值可以帮助预测酒店房价,从而增加酒店的收入。 酒店房价分析是什么? 在酒店房价分析中,我们将分析数据集的模式和趋势。根据这些信息,我们将进行与定价和运营相关的决策。这些决策将受到多个因素的影响。 季节性:房价在旺季(如假期)大幅上涨。 需求:当需求高时(如庆典活动或体育赛事),房价会上涨。 竞争:酒店房价受附近酒店价格的影响很大。如果一个地区的酒店数量过多,则房价会降低。 设施:如果酒店有游泳池、水疗中心和健身房等设施,它们会对这些设施收取更高的费用。 位置:位于主要城镇的酒店相比较而言可以收费更高。 正确设置酒店房价的重要性 设置房价对于增加收入和利润至关重要。正确设置酒店房价的重要性如下: 最大化收入:房价是增加收入的主要关键。通过设置有竞争力的价格,酒店可以增加收入。 增加客户:当房价公平时,更多客人会预订酒店。这有助于增加入住率。 最大化利润:酒店试图提高价格以增加利润。然而,提高价格会减少客人数量,而正确设置价格会增加客人数量。 收集数据和预处理 数据收集和预处理是酒店房价分析的重要部分。数据是从酒店网站、预订网站和公共数据集收集的。然后将该数据集转换为可视化所需的格式。在预处理过程中,数据集经历数据清洗和转换。新转换的数据集用于可视化和模型构建。…

Leave a Comment

MLOps覆盖整个机器学习生命周期:论文摘要

这篇AI论文对MLOps领域进行了广泛的研究。 MLOps是一门新兴的学科,专注于自动化整个机器学习生命周期。调查涵盖了广泛的主题,包括MLOps流水线、挑战和最佳实践。它深入探讨了机器学习过程的各个阶段,从模型需求分析、数据收集、数据准备、特征工程、模型训练、评估、系统部署和模型监控等开始。此外,它还讨论了整个生命周期中的业务价值、质量、人类价值和伦理等重要考虑因素。 该论文旨在全面调查MLOps,并强调其在自动化机器学习生命周期中的重要性。调查涵盖了多个主题,包括MLOps流水线、挑战、最佳实践以及机器学习过程的各个阶段。 本文在下图中提供了一个概览: https://arxiv.org/abs/2304.07296:机器学习流程 模型需求分析 为了启动一个机器学习项目,利益相关者必须分析和确定模型需求。本节概述了四个考虑因素:业务价值、模型质量、人类价值(隐私、公平性、安全性和问责制)以及伦理。鼓励利益相关者定义目标,评估用于识别价值和问题的工具,优先考虑需求,涉及相关利益相关者,并确定必要的功能。 数据收集和准备 数据准备阶段在确保机器学习任务的高质量数据方面起着至关重要的作用。本节介绍了数据收集、数据发现、数据增强、数据生成和ETL(提取、转换、加载)过程。强调了数据质量检查、数据清洗、数据合并、数据匹配以及进行探索性数据分析(EDA)以获得数据集洞察的重要性。 特征工程 特征工程对于提高预测建模性能至关重要。本节重点介绍了特征选择和提取、特征构建、特征缩放、数据标记和特征填充等技术。提到了与每种技术相关的具体算法和方法,包括主成分分析(PCA)、独立成分分析(ICA)以及标准化和归一化。 模型训练 模型训练阶段涵盖了不同类型的机器学习模型,包括有监督学习、无监督学习、半监督学习和强化学习。本节讨论了模型选择,包括为特定问题选择适当模型的过程。还探讨了模型选择的方法,如交叉验证、自助法和随机拆分。还讨论了超参数调优,即优化模型参数的过程。 模型评估 模型评估侧重于使用各种指标评估模型的性能。本节介绍了常见的评估指标,如准确率、精确率、召回率、F值和ROC曲线下的面积(AUC)。强调同时考虑模型性能和业务价值的重要性。 系统部署 系统部署涉及选择适当的ML模型操作平台,集成系统,进行系统集成测试,并将系统发布给最终用户。解释了部署策略,包括金丝雀部署和蓝绿部署。还讨论了部署ML系统所面临的挑战,以及实现顺畅部署过程的提示。 模型监控 本文强调在ML系统中进行模型监控的重要性。强调开发人员在ML模型监控和维护方面缺乏知识和经验。本节探讨了模型监控的各个方面,包括漂移检测、模型监控质量、合规性、系统日志记录和模型解释(XAI)。提供了监控数据分布变化、确保模型性能、符合行业特定标准和法规、用于ML流水线的系统日志记录以及实现模型透明度的洞察。 结论 本文通过讨论MLOps的未来以及需要解决的可扩展性和可靠性挑战来总结。它强调了对机器学习模型进行持续监控和维护的重要性,以实现长期成功。 总之,这份综合调研涵盖了MLOps领域内整个机器学习生命周期。它为MLOps管道、挑战、最佳实践、模型需求分析、数据准备、特征工程、模型训练、评估、系统部署和模型监控提供了宝贵的见解。通过详细研究这些主题,本调研旨在帮助研究人员和从业者全面了解MLOps及其实际意义。

Leave a Comment

生成式人工智能和MLOps:高效和有效的人工智能开发的强大组合

人工智能在几乎所有可能的领域都取得了显著的进展。它给创造力提供了翅膀,提升了分析和决策能力。在过去几个月中,生成式人工智能变得越来越受欢迎。从组织到人工智能研究人员,每个人都在探索生成式人工智能在产生独特和原创内容方面的巨大潜力,而且还可以在各个领域产生这些内容。 什么是生成式人工智能? 生成式人工智能是指使用算法来生成、操纵和合成数据的任何类型的过程。它可以解释为人工智能的一个子集,通过从现有数据中学习来生成新数据。新内容具有一定的创造力和独特特征,可以是图像或可读文本形式的数据,并生成之前不存在的内容。 生成式人工智能如何被使用? 生成式人工智能自引入以来一直在快速发展。大型语言模型(LLMs)的发展可以说是生成式人工智能突然增长的主要原因之一。LLMs是设计用于处理自然语言和生成类似人类回应的人工智能模型。OpenAI的GPT-4和Google的BERT是近年来取得重大进展的杰出示范,从聊天机器人和虚拟助手的开发到内容创作。生成式人工智能被应用于内容创作、虚拟助手的开发、人类模仿聊天机器人、游戏等领域。生成式人工智能也被应用于医疗保健行业,为患者生成个性化的治疗计划,提高医疗诊断的准确性等。 什么是MLOps? 随着每个公司都试图将AI ML的潜力融入其服务和产品中,MLOps变得越来越受欢迎。MLOps(机器学习运营)是机器学习工程的一个重要功能,主要关注将ML模型投入生产,并进行后续维护和监控的流程优化。它结合了DevOps和ML的特点,帮助组织以最少的资源和最高的效率设计稳健的ML流水线。 MLOps在提升生成式人工智能能力方面的优势 生成式人工智能的训练和部署模型的复杂性需要大量的计算资源和专用基础设施。与生成式人工智能结合使用时,MLOps可以通过提供一个管理生成式人工智能模型的开发和部署的优秀框架,以及自动化所涉及的流程来解决这些挑战。对于组织来改善基础设施,整合MLOps可以帮助它们在生成式人工智能应用中包括参数优化、自动化部署和扩展等功能而无需额外的人工成本。 MLOps为生成式人工智能提供的主要优势是效率、可扩展性和风险降低。除此之外,MLOps还可以在以下方面做出贡献: 数据管理:MLOps可以帮助管理用于训练生成式人工智能模型的大量数据,确保数据质量高、多样性,并符合所需领域的要求。 模型开发:MLOps可以在整个模型开发过程中提供帮助,包括训练、测试和验证,并提供版本控制、代码审核等工具。 部署:MLOps可以帮助自动化部署生成式人工智能模型,简化生产过程。 扩展:MLOps可以帮助处理不断增长的流量。包括提供管理基础设施和数据量的工具。 监控和维护:MLOps可以通过检测问题、检查性能异常等方式监控工作中的生成式人工智能模型的性能。 结论 由于更多数据的可用性、计算技术的进步以及生成独特和创新内容的能力,生成式人工智能正变得越来越受欢迎。通过引入MLOps,它可以在管理生成式人工智能模型的生命周期中发挥关键作用,从而充分发挥产品和应用的潜力。

Leave a Comment

实际应用的MLOps示例:Brainly视觉搜索的端到端MLOps管道

在系列文章“真实世界的MLOps示例”的第二篇中,Brainly的机器学习工程师Paweł Pęczek将为您介绍Brainly视觉搜索团队中的端到端机器学习运营(MLOps)过程由于要在MLOps方面取得成功需要更多的技术和流程,他还将分享以下细节:…(继续)

Leave a Comment

如何使用Github?逐步指南

在GitHub上注册的六个步骤 步骤 1:注册GitHub账号 访问他们的网站并点击注册按钮。 填写相关信息,包括您的用户名、电子邮件和密码。 完成后,验证您的电子邮件,您将拥有一个免费的GitHub账号,可用于代码存储库和协作。 https://docs.github.com/en/get-started/quickstart/hello-world 步骤 2:在GitHub上创建一个代码库 在GitHub上创建一个代码库 要为您的项目创建GitHub代码库,请按照以下简单的步骤进行: 1. 在任何GitHub页面的右上角点击“+”符号,然后选择“新建代码库”。 2. 在“代码库名称”框中为您的代码库命名。 3. 在“描述”框中添加简短的描述。 4. 选择您的代码库是公开还是私人。 5. 选中“添加README文件”的选项。 6. 点击“创建代码库”按钮。 此代码库可以用于组织和存储文件、与他人进行协作,并在GitHub上展示您的项目。 https://docs.github.com/en/get-started/quickstart/hello-world…

Leave a Comment

使用 QLoRA 对 Llama 2 进行微调,并在 Amazon SageMaker 上部署,配备 AWS Inferentia2

在这篇文章中,我们展示了使用参数高效微调 (PEFT) 方法对 Llama 2 模型进行微调,并将微调后的模型部署在 AWS Inferentia2 上我们使用 AWS Neuron 软件开发工具包 (SDK) 来访问 AWS Inferentia2 设备,并从其高性能中受益然后,我们使用一个由 […] 提供支持的大型模型推断容器

Leave a Comment

支持向量机(SVM)是什么?

支持向量机(SVM)是一种在机器学习领域中使用的监督学习算法。它主要用于执行分类和回归等任务。该算法可以处理各种任务,例如判断电子邮件是否为垃圾邮件、识别手写字体,甚至在图片中检测人脸。它非常适应性强,能处理大量信息和数据中的复杂关系。 SVM的主要任务是根据特征绘制最佳的分隔线(或平面),以区分不同组的事物。就像在数据集中找到不同类别之间的最佳边界一样。因此,无论是对文本、图像还是其他任何东西进行分类,SVM都是机器学习中的首选工具。 SVM的类型 线性支持向量机 当数据可以通过一条直线轻松分为两组时,线性SVM效果最好。想象一下你的数据就像是纸上的点,你可以画一条直线将它们整齐地分成两个不同的类。也就是说,数据应该是完全线性可分的。 非线性支持向量机 当数据无法通过一条直线分类成两组时,我们就会引入非线性SVM。这种情况下,数据不是线性可分的。在这种情况下,非线性SVM可以派上用场。在现实世界中,数据通常杂乱无章,不遵循简单的规律,这时我们就可以使用非线性SVM及其核技巧。 它是如何工作的? 想象一下,你手上有两组事物,比如绿色和蓝色的点,散落在地板上。SVM的任务是找到一条最佳的直线(或者如果你在三维世界中则是一个平面),将这些点分隔成各自的组。 现在,可能有很多条分隔这些点的直线,对吧?但是SVM会寻找一个特殊的直线——与最接近的绿色点到直线的距离和最接近的蓝色点到直线的距离之间有最大距离的直线。这个距离被称为“间隔”,SVM希望使其尽可能大。 那些在定义直线时起着关键作用的最近的点被称为“支持向量”。SVM专注于这些点,以绘制最佳的直线,使两组之间的空间最大化。 但是,如果你的点没有被一条直线整齐地分开呢?如果它们到处都是?这就是SVM可以使用所谓的“核技巧”将问题提升到一个更高维度空间的地方,这样可以绘制出更复杂的分割曲线或曲面。 用例与应用 1. 垃圾邮件过滤:想象一下,你的电子邮箱里有一堆邮件,其中一些是垃圾邮件,一些则不是。支持向量机(SVM)可以用来创建一个智能过滤器,学会区分垃圾邮件和普通邮件。它会查看邮件的各种特征,比如使用的词语,并绘制一条线来将垃圾邮件与非垃圾邮件分开,保持您的邮箱清洁。 2. 手写识别:如果你希望你的计算机识别不同人的手写。SVM可以做到这一点。通过分析手写字母的特征,比如形状和大小,SVM可以绘制线条或曲线来将一个人的手写与另一个人的手写分开,使其在邮政服务等应用中有用于识别数字。 3. 医学诊断:在医学领域,SVM可以帮助诊断疾病。假设你有关于患者的数据,其中一些患有某种疾病,另一些没有。SVM可以分析各种健康指标,并创建一个边界来区分健康患者和患有该疾病的患者。这可以帮助医生进行更准确的诊断。 4. 图像分类:考虑这样一个场景,你有很多图片,其中一些是猫,一些是狗。SVM可以成为一个英雄,创建一个系统,学会根据颜色、形状或图案等特征区分猫和狗。它绘制一条线(或更复杂的边界)来正确分类新的图片。 5. 股票市场预测:如果你对股票市场感兴趣,SVM可以派上用场。通过分析历史股票数据,考虑交易量和价格变动等各种因素,SVM可以创建一个模型来预测股票的涨跌。 参考资料: https://towardsdatascience.com/support-vector-machine-introduction-to-machine-learning-algorithms-934a444fca47…

Leave a Comment

VoAGI新闻,12月6日:GitHub存储库用于掌握机器学习• 5个免费课程,掌握数据工程

本周在VoAGI上:发现来自机器学习课程、训练营、书籍、工具、面试题、备忘单、MLOps平台等的GitHub代码库,以掌握机器学习,保障你梦寐以求的工作 • 数据工程师必须准备和管理数据驱动的整个数据工作流所需的基础设施和工具…

Leave a Comment

GPT-4和XGBoost 2.0的深入解析:AI的新领域

介绍 人工智能(AI)正在经历一次重大转变,GPT-4等LLM的出现正在革新机器对人类语言的理解和生成。与此同时,xgboost 2.0作为一种强大的预测建模工具出现,通过提高效率和准确性增强了机器学习。本文探讨了GPT-4和xgboost 2.0的能力和应用,并研究了它们在各个领域的变革性影响。期待深入了解它们的实际应用、挑战和未来前景,并概述这些先进的AI技术在塑造AI未来中的作用。 学习目标 深入了解GPT-4如何革新自然语言处理,以及xgboost 2.0如何增强预测建模。 了解这些技术在客户服务、金融等不同领域的多样化实际应用。 认识到与实施这些AI技术相关的潜在挑战和道德问题。 探索AI领域的未来发展,考虑GPT-4和xgboost 2.0等技术的当前发展轨迹。 这篇文章是 Data Science Blogathon 的一部分。 GPT-4概述 GPT-4是OpenAI生成预训练transformer家族中最新的继任者,代表着自然语言处理领域的重大突破。在其前身GPT-3已经具备了令人印象深刻的能力的基础上,GPT-4通过无与伦比的抓住和解释上下文的能力使自己与众不同。这个先进模型擅长生成不仅连贯和符合上下文的回答,而且与人类表达惊人地相似。它的多功能性涵盖了广泛的应用领域,包括复杂的文本生成、无缝的翻译、简明的摘要和准确的问答。 GPT-4的这一广泛功能范围使其在多个领域中成为宝贵的资产,从自动化客户服务互动和增强语言翻译服务到提供教育支持和简化内容创作流程。该模型对微妙语言的深刻理解以及生成丰富、多样的文本内容的能力,将其置于基于AI的沟通和内容生成解决方案的前沿,为数字和实际场景中的创新和应用开辟了新的道路。 XGBoost 2.0分析 XGBoost 2.0在机器学习方面迈出了重大的一步,提升了处理复杂预测建模任务的能力,涉及金融和医疗等高风险领域。该更新引入了几个关键的创新,例如具有向量叶子输出的多目标树,允许单棵树管理多个目标变量。这一发展显著降低了过拟合和模型大小,同时更有效地捕捉目标之间的相关性。此外,XGBoost 2.0通过新的“device”参数简化了GPU配置,取代了多个单独的设置,简化了选择过程。它还引入了“max_cached_hist_node”参数,可以更好地控制直方图的CPU缓存大小,在深度树场景中优化内存使用。 这些更新进一步增强了XGBoost在处理结构化数据方面的优势。在内存管理、GPU利用率和多目标树构建方面的改进,增强了它作为处理结构化数据挑战的首选。新版本将“hist”设为默认的树方法,优化基于直方图的方法。它还为“approx”树方法引入了GPU支持,展示了XGBoost在计算效率方面的承诺。…

Leave a Comment

使用由Amazon Comprehend创建的自定义元数据,通过Amazon Kendra智能地处理保险理赔事务

结构化数据是按照固定模式进行定义的数据,例如存储在数据库中的列信息;而非结构化数据则没有具体的形式或模式,例如文本、图像或社交媒体帖子等这两种数据类型不断增长,因为它们被各种组织所生产和使用例如,根据国际数据公司(IDC)的统计,[…]

Leave a Comment

2024年必试的前15个矢量数据库

介绍 在数据科学快速发展的领域中,向量数据库在实现高维数据的高效存储、检索和操作方面发挥着关键作用。本文探讨了向量数据库的定义和意义,将其与传统数据库进行了比较,并详细介绍了2024年考虑的前15个向量数据库。 什么是向量数据库? 向量数据库的核心设计是高效处理向量化数据。与擅长结构化数据存储的传统数据库不同,向量数据库专注于管理多维空间中的数据点,使其非常适用于人工智能、机器学习和自然语言处理等应用。 向量数据库的目的在于促进向量嵌入、相似搜索和高维数据的高效处理。与可能难以处理非结构化数据的传统数据库不同,向量数据库在数据点之间的关系和相似性至关重要的场景中表现出色。 向量数据库 vs 传统数据库 方面 传统数据库 向量数据库 数据类型 表格格式的简单数据(文字、数字)。 具有专门搜索功能的复杂数据(向量)。 搜索方法 精确匹配数据。 使用近似最近邻(ANN)搜索进行最接近匹配。 搜索技术 标准查询方法。 使用哈希和基于图的搜索等专门方法进行ANN搜索。 处理非结构化数据 由于缺乏预定义格式而具有挑战性。 将非结构化数据转化为数值表示(嵌入)。 表示 基于表格的表示形式。…

Leave a Comment

使用Langchain构建半结构化数据的RAG管道

介绍 检索增强生成(Retrieval Augmented Generation)已经存在一段时间了。许多工具和应用程序围绕这个概念进行了构建,比如向量存储、检索框架和LLMs,使得处理自定义文档尤其是具有Langchain的半结构化数据变得方便。处理长、密集的文本从未如此轻松而有趣。传统的RAG对于不结构化的文本重型文件(如DOC、PDF等)效果良好。然而,这种方法对于嵌入在PDF中的半结构化数据(如嵌入式表格)效果不佳。 在处理半结构化数据时,通常有两个问题。 传统的提取和文本分割方法无法处理PDF中的表格。它们通常会破坏表格,从而导致信息的丢失。 嵌入表格可能无法转化为精确的语义搜索。 因此,在本文中,我们将使用Langchain构建一个用于处理半结构化数据的检索生成(Retrieval Generation)流水线,以解决这两个半结构化数据的问题。 学习目标 了解结构化、非结构化和半结构化数据之间的区别。 对检索增强生成和Langchain进行简要回顾。 学习如何使用Langchain构建一个用于处理半结构化数据的多向量检索器。 本文作为数据科学博文马拉松的一部分发表。 数据类型 通常有三种类型的数据:结构化数据、半结构化数据和非结构化数据。 结构化数据:结构化数据是标准化的数据,遵循预定义的模式,例如行和列。SQL数据库、电子表格、数据帧等。 非结构化数据:与结构化数据不同,非结构化数据没有数据模型。数据是随机的,例如PDF、文本、图像等。 半结构化数据:它是前两种数据类型的结合。与结构化数据不同,它没有严格的预定义模式。然而,数据仍然基于某些标记保持着分层次的顺序,这与非结构化类型形成了对比。例如CSV、HTML、嵌入式PDF中的表格、XML等。 什么是RAG? RAG代表检索增强生成(Retrieval Augmented Generation)。这是为大型语言模型提供新信息的最简单方法。现在,让我们对RAG进行一个快速介绍。 在典型的RAG流程中,我们有知识来源,如本地文件、网页、数据库等,一个嵌入模型,一个向量数据库和一个LLM。我们从各种来源收集数据,拆分文档,获取文本块的嵌入并将它们存储在向量数据库中。现在,我们将查询的嵌入传递给向量存储,从向量存储中检索文档,最后使用LLM生成答案。 这是传统RAG的工作流程,适用于如文本等不结构化数据。然而,当涉及到半结构化数据时,例如嵌入在PDF中的表格,它通常无法表现良好。在本文中,我们将学习如何处理这些嵌入式表格。…

Leave a Comment

评估大型语言模型的质量和责任

与生成性人工智能相关的风险已经广为人知毒性、偏见、泄漏个人身份信息以及幻觉都会对组织的声誉和客户信任造成负面影响研究表明,不仅偏见和毒性风险会从预训练的基础模型转移到特定任务的生成性人工智能服务中,而且通过为特定任务调整基础模型还会产生如下影响[…]

Leave a Comment

在亚马逊SageMaker Canvas中加快机器学习的数据准备工作

数据准备是任何机器学习(ML)工作流程中至关重要的一步,但它往往涉及冗长而耗时的任务Amazon SageMaker Canvas现在支持由Amazon SageMaker Data Wrangler驱动的全面数据准备能力通过这种集成,SageMaker Canvas为客户提供了一个端到端的无代码工作空间,用于准备数据、构建和使用ML和[…]

Leave a Comment

探索对OpenAI模型的开源替代品

介绍 11月在人工智能领域发生了许多重大事件。从GPT存储的推出,到GPT-4-turbo的发布,再到OpenAI的惨败,这一切都引发了一个重要的问题:封闭模型和背后的人员有多可靠?当你在生产中使用的模型因为一些内部公司事件而崩溃时,这将会是一次不愉快的经历。这对于开源模型来说并不是一个问题。您对部署的模型拥有完全控制权。您对数据和模型都有主权。但是是否可以用GPT代替开源模型?值得庆幸的是,许多开源模型已经达到或超过了GPT-3.5模型的性能。本文将探讨一些性能最佳的开源LLMs和LMMs替代方案。 学习目标 讨论开源大型语言模型。 探索最先进的开源语言模型和多模态模型。 对大型语言模型进行轻量化介绍。 了解在本地和云端运行LLMs的工具和服务。 本文作为数据科学博文马拉松的一部分发表。 什么是开源模型? 当模型的权重和架构是自由可用的时,我们称之为开源模型。这些权重是大型语言模型的预训练参数,例如Meta的Llama。这些通常是基础模型或未经调优的原始模型。任何人都可以使用这些模型,并将其在自定义数据上进行微调,以执行下游操作。 但是它们是否是真正的开源?数据呢?由于有关版权内容和数据敏感性的种种问题,大多数研究实验室都不会公开发布训练基础模型时所使用的数据。这也涉及到模型的许可问题。每个开源模型都有类似于任何其他开源软件的许可证。许多基础模型(例如Llama-1)配有非商业许可证,这意味着您不能使用这些模型来赚钱。但是像Mistral7B和Zephyr7B这样的模型配有Apache-2.0和MIT许可证,可以在任何地方使用而不会有顾虑。 开源替代方案 自从Llama发布以来,开源领域一直在追赶OpenAI模型。迄今为止,取得了令人鼓舞的成果。在GPT-3.5发布一年内,我们已经拥有了参数更少但在性能上与GPT-3.5相媲美甚至更好的模型。但是GPT-4仍然是执行从推理和数学到代码生成等各种一般任务的最佳模型。进一步观察开源模型领域的创新和资金支持的步伐,我们很快将会有越来越接近GPT-4性能的模型。现在,让我们讨论一些出色的开源模型的替代方案。 Meta’s Llama 2 Meta在今年7月发布了他们最好的模型Llama-2,并因其令人印象深刻的能力而迅速走红。Meta发布了四个不同参数规模的Llama-2模型,分别是Llama-7b、13b、34b和70b。这些模型在各自的类别中足以击败其他开源模型。但是现在,诸如mistral-7b和Zephyr-7b等多个模型在许多基准测试中优于较小的Llama模型。Llama-2 70b仍然是其类别中最好的之一,可以作为GPT-4在摘要、机器翻译等任务上的替代品。 Llama-2在许多基准测试中表现优于GPT-3.5,并且能够接近GPT-4,使其成为GPT-3.5甚至在某些情况下是GPT-4的一个有价值的替代品。以下图表是由Anyscale提供的Llama和GPT模型的性能比较。 有关Llama-2的更多信息,请参阅HuggingFace上的博客。这些LLM经过微调后在自定义数据集上表现良好。我们可以对模型进行微调,以在特定任务中发挥更好的性能。 不同的研究实验室也发布了经过微调的Llama-2版本。这些模型在许多基准测试中显示出比原始模型更好的结果。这款经过微调的Llama-2模型,Nous-Hermes-Llama2-70b,由Nous Research经过超过300,000个自定义指令进行了微调,使其比原始的meta-llama/Llama-2-70b-chat-hf更好。 查看HuggingFace的排行榜。您可以找到比原始模型效果更好的经过微调的Llama-2模型。这是开源模型的优点之一。根据需求,可以选择多种模型。 Mistral-7B Mistral-7B发布以来,它已成为开源社区的宠儿。它的性能要远远优于同类模型,并接近GPT-3.5的能力。这个模型可以在许多情况下替代Gpt-3.5,比如摘要、改写、分类等。…

Leave a Comment

Can't find what you're looking for? Try refining your search: