Press "Enter" to skip to content

158 search results for "Matplotlib"

MLOps 使用实施欺诈交易检测

介绍 在当今数字化的世界中,人们越来越倾向于通过在线交易和数字支付来进行交易,而不是使用现金,这是因为它的便利性。随着过渡的增加,欺诈行为也在增加。欺诈交易可以是任何类型,因为它涉及使用虚假身份或虚假信息要求钱款。这给个人和金融机构带来了重大问题。在这个项目中,我们将使用信用卡数据集来设计使用Airflow工具监控实时交易并预测其是否真实或欺诈的MLOPs模型。 学习目标 检测欺诈交易的重要性。 清理数据,转换数据集和预处理数据。 对数据集进行可视化分析以获得洞察力。 在数据科学中使用欺诈交易检测模型的实际应用。 使用Python编程语言进行欺诈交易数据分析 使用MS Azure和Airflow构建端到端的欺诈检测 本文作为数据科学博文马拉松的一部分发布。 什么是欺诈交易估计模型? 欺诈交易数据集包含来自不同来源的数据,其中包含交易时间、姓名、金额、性别、类别等列。欺诈交易估计模型是一个用于预测虚假交易的机器学习模型。该模型是在大量有效交易和欺诈交易的基础上进行训练的,以预测新的虚假交易。 什么是欺诈交易分析? 欺诈交易分析是分析过去数据集的过程。数据集分析旨在发现数据中的异常情况并找出数据集中的模式。欺诈交易分析在保护客户和减少财务损失方面起着关键作用。有不同类型的欺诈交易分析,例如基于规则的分析和异常检测。 基于规则的分析:基于规则的分析涉及创建规则来标记无效交易。例如,可以根据地理区域制定规则。 异常检测:异常检测涉及发现异常或异常的交易。例如,从新的IP地址进行的交易。 检测欺诈交易的重要性 对于企业和金融机构来说,检测欺诈交易对于保护客户免受欺诈和保护他们的资金至关重要。以下是检测欺诈交易的一些关键原因。 减少财务损失:欺诈交易给企业带来巨额财务损失,从而减少它们的利润。因此,企业检测欺诈交易变得至关重要。 维护声誉:维护声誉对于企业来说是至关重要的,因为它会导致潜在客户和顾客的流失。 保护客户和企业:欺诈交易可能对客户造成财务损失和情感影响。通过检测欺诈交易,企业可以保护客户和他们的业务。 数据收集和预处理 数据收集和预处理是开发欺诈检测模型的重要部分。一旦收集到数据,需要对数据集执行多个步骤。 数据清理:数据清理包括删除不需要的数据,例如重复数据,并填充缺失的数据值。…

Leave a Comment

使用英特尔的OpenVINO工具包精通AI优化和部署

介绍 由于人工智能对人们手工劳动的日益影响,在我们几乎每天都在谈论人工智能。建立AI-enabled软件在短时间内迅速增长。企业和商家相信将可靠和负责任的AI集成到他们的应用程序中以产生更多的收入。将AI集成到应用程序中最具挑战性的部分是在训练模型时使用的模型推理和计算资源。已经存在许多技术来通过使用较少的计算资源在推理过程中优化模型以提高性能。基于这个问题陈述,英特尔推出了OpenVINO Toolkit,这是一个绝对的游戏改变者。OpenVINO是一个用于优化和部署AI推理的开源工具包。 学习目标 在本文中,我们将: 了解OpenVINO Toolkit及其在优化和部署AI推理模型方面的目的。 探索OpenVINO的实际用例,特别是其在边缘人工智能未来中的重要性。 学习如何在Google Colab中使用OpenVINO在图像中实现文本检测项目。 了解使用OpenVINO的关键功能和优势,包括其模型兼容性和对硬件加速器的支持以及它如何影响各个行业和应用。 本文是数据科学博客马拉松的一部分。 什么是OpenVINO? OpenVINO代表开放的视觉推理和神经网络优化,是由英特尔团队开发的开源工具包,旨在促进深度学习模型的优化。OpenVINO工具包的愿景是通过更高效和更有效的方法在本地、设备上或云中部署您的人工智能深度学习模型。 OpenVINO Toolkit特别有价值,因为它支持许多深度学习框架,包括像TensorFlow、PyTorch、Onnx和Caffe这样流行的框架。您可以使用您喜欢的框架训练模型,然后使用OpenVINO将其转换和优化以在Intel的硬件加速器(如CPU、GPU、FPGA和VPU)上部署。 在推理方面,OpenVINO Toolkit提供了各种模型量化和压缩工具,可以显著减小深度学习模型的大小而不损失推理准确性。 为什么使用OpenVINO? AI的热潮目前没有减缓的迹象。随着它的流行,显然会开发更多应用程序在本地和设备上运行人工智能应用程序。OpenVINO在以下几个具有挑战性的领域表现出色,这些是选择使用OpenVINO的理想选择的原因: OpenVINO模型库 OpenVINO提供了一个模型库,包含用于稳定扩散、语音、目标检测等任务的预训练深度学习模型。这些模型可以作为您项目的起点,节省时间和资源。 模型兼容性 OpenVINO支持许多深度学习框架,包括TensorFlow、PyTorch、ONNx和Caffe。这意味着您可以使用您喜欢的框架训练模型,然后使用OpenVINO Toolkit将其转换和优化以进行部署。…

Leave a Comment

介绍OWLv2:谷歌在零样本目标检测方面的突破

介绍 2023年即将结束,对计算机视觉界而言,令人兴奋的消息是,谷歌最近在零样本目标检测领域取得了重大进展,并发布了OWLv2。这款尖端模型现在已经在🤗 Transformers中可用,并代表着迄今为止最强大的零样本目标检测系统之一。它基于去年推出的OWL-ViT v1模型打下了坚实的基础。 在本文中,我们将介绍该模型的行为和架构,并展示如何进行推理的实践方法。让我们开始吧。 学习目标 了解计算机视觉中零样本目标检测的概念。 了解谷歌OWLv2模型背后的技术和自我训练方法。 使用OWLv2的实际方法。 本文作为Data Science Blogathon的一部分发表。 OWLv2背后的技术 OWLv2的强大能力归功于其新颖的自我训练方法。该模型在一个包含超过10亿个示例的Web规模数据集上进行了训练。为了实现这一点,作者利用了OWL-ViT v1的强大功能,使用它生成伪标签,然后用这些伪标签来训练OWLv2。 此外,该模型还在检测数据上进行了微调,从而提高了其前身OWL-ViT v1的性能。自我训练为开放世界定位提供了Web规模的训练,与目标分类和语言建模领域的趋势相呼应。 OWLv2架构 尽管OWLv2的架构与OWL-ViT相似,但其目标检测头部有一个显著的补充。现在它包括一个目标性分类器,用于预测预测框中包含物体的可能性。目标性得分提供了洞察力,并可用于独立于文本查询对预测进行排序或筛选。 零样本目标检测 零样本学习是一个新的术语,自从GenAI的趋势以来变得流行起来。它通常在大型语言模型(LLM)的微调中见到。它涉及使用一些数据对基础模型进行微调,使其扩展到新的类别。零样本目标检测是计算机视觉领域的一个改变者。它的核心是使模型能够在图像中检测物体,而无需手工注释边界框。这不仅加快了处理速度,还减少了手工注释的需求,使其对人类更具吸引力和乐趣。 如何使用OWLv2? OWLv2遵循与OWL-ViT类似的方法,但使用了更新的图像处理器Owlv2ImageProcessor。此外,该模型依赖于CLIPTokenizer对文本进行编码。Owlv2Processor是一个方便的工具,结合了Owlv2ImageProcessor和CLIPTokenizer,简化了文本编码过程。以下是使用Owlv2Processor和Owlv2ForObjectDetection进行对象检测的示例。 在此处找到完整的代码:https://github.com/inuwamobarak/OWLv2 步骤1:设置环境…

Leave a Comment

10个数据科学家都应该掌握的有用的Python技能

介绍 Python是一种多功能且强大的编程语言,对于数据科学家和分析师来说,它在工具包中扮演着核心角色。它的简洁和可读性使其成为处理数据的首选,无论是执行最基本的任务还是应用最前沿的人工智能和机器学习。无论您是刚开始数据科学之旅还是希望提升数据科学家的技能,本指南将为您提供使用Python进行数据驱动项目的知识和工具,助您发掘Python的全部潜力。让我们踏上这段揭示数据科学领域的Python基础知识之旅吧。 所有数据科学家应掌握的有用Python技能 数据科学是一门不断发展的学科,Python已成为数据科学家的核心语言之一。要在这个领域脱颖而出,掌握特定的Python技能至关重要。以下是每个数据科学家都应掌握的十个基本技能: Python基础知识 了解Python的语法:Python的语法以其简洁和可读性而闻名。数据科学家必须掌握基础知识,包括正确的缩进、变量赋值以及循环和条件结构等控制结构。 数据类型:Python提供了多种数据类型,包括整数、浮点数、字符串、列表和字典。了解这些数据类型对于处理和操作数据至关重要。 基本操作:熟练掌握算术、字符串操作和逻辑运算等基本操作是必要的。数据科学家使用这些操作来清洗和预处理数据。 数据操控与分析 熟练使用Pandas:Python的Pandas库提供了各种函数和数据结构,用于数据操控。数据科学家使用Pandas可以高效地从多个来源加载数据,包括CSV文件和数据库。这使他们能够高效地访问和处理数据。 数据清洗:Python与Pandas相结合,为数据清洗提供了强大的工具。数据科学家可以使用Python处理缺失值,删除重复记录,以及识别和处理异常值。Python的多功能性简化了这些关键的数据清洗任务。 数据变换:Python对于数据变换任务至关重要。数据科学家可以利用Python进行特征工程,即从现有数据中创建新的特征以提高模型性能。此外,Python还允许进行数据标准化和缩放,确保数据适用于各种建模技术。 探索性数据分析(EDA):Python和Matplotlib、Seaborn等库对于进行探索性数据分析(EDA)至关重要。数据科学家使用Python执行统计和可视化技术,揭示数据的模式、关系和异常值。EDA为假设的制定提供了基础,并帮助选择适当的建模方法。 数据可视化 Matplotlib和Seaborn:Python的Matplotlib库提供了各种自定义选项,允许数据科学家根据需要创建定制的可视化图形。包括调整颜色、标签和其他视觉元素。Seaborn简化了创建美观的统计可视化图形的过程。它增强了默认的Matplotlib样式,使得创建视觉吸引力的图表更加容易。 创建引人注目的图表:Python借助Matplotlib和Seaborn等工具赋予数据科学家开发各种图表的能力,包括散点图、条形图、直方图和热力图等。这些可视化图形是呈现数据驱动的洞察、趋势和模式的强大工具。此外,有效的数据可视化对于使复杂数据更易于理解和消化对于利益相关者而言至关重要。可视化呈现可以比原始数据更快速而全面地传达信息,有助于决策过程。 传达复杂洞察:数据可视化对于通过视觉方式传达复杂洞察至关重要。Python在这方面的能力简化了对发现的沟通,使非技术相关的利益相关者能够更容易理解和解释数据。通过将数据转化为直观的图表和图形,Python允许以引人注目的方式讲述数据的故事,有助于推动决策制定、报告生成和有效的数据驱动通信。 数据存储与检索 多样的数据存储系统:Python提供了与各种数据存储系统进行交互的库和连接器。对于像MySQL和PostgreSQL这样的关系型数据库,像SQLAlchemy这样的库可以简化数据访问。像PyMongo这样的库允许数据科学家使用NoSQL数据库(如MongoDB)进行工作。此外,Python可以通过像Pandas这样的库处理存储在平面文件(如CSV、JSON)和数据湖中的数据。 数据检索:数据科学家使用Python和SQL从关系型数据库(如MySQL和PostgreSQL)中检索数据。Python的数据库连接器和ORM(对象关系映射)工具简化了执行SQL查询的过程。 数据集成:Python在集成来自不同来源的数据的“提取、转换、加载(ETL)”过程中起到关键作用。像Apache Airflow这样的工具和像Pandas这样的库可以实现数据转换和加载任务。这些过程确保来自不同存储系统的数据统一到一个一致的格式中。 人工智能和机器学习 机器学习库:Python的scikit-learn库是机器学习的基石。它提供了许多用于分类、回归、聚类、降维等机器学习算法。Python的简洁性和scikit-learn库的用户友好的API使其成为数据科学家的首选。使用scikit-learn可以高效、有效地构建预测模型。 深度学习框架:深度学习框架TensorFlow和PyTorch在解决复杂的人工智能问题中起到关键作用。Python是TensorFlow和PyTorch的主要编程语言。这些框架提供了预建模型、广泛的神经网络架构和构建自定义深度学习模型的丰富工具。Python的灵活性和这些框架的能力对于图像识别、自然语言处理等任务至关重要。…

Leave a Comment

GANs如何打造人工名人身份?

介绍 在人工智能时代,一个引人注目的现象正在发生——生成对抗网络(GANs)巧妙地创建了人工名人身份。这种科技与创意的有趣融合,催生出了一种全新的数字名人。加入我们,一起探索GANs的世界,揭开创造迷人虚拟身份的魔力。GANs是如何实现这一切的?让我们来探索这个数字艺术背后的秘密。 来源:Hello Future 学习目标 在本文中,我们将学习: 生成对抗网络(GANs)的概念 如何训练生成器和判别器? 实施GAN模型的逐步过程 通过对抗训练获取GANs随时间改进的见解 本文是数据科学博文马拉松的一部分。 生成对抗网络(GAN) 生成对抗网络(GAN)是由Goodfellow提出的深度学习模型。从名称就可以理解GAN的目的。是的!我们用它来生成东西。它是一个生成数据的网络。这些数据包括图像、文本、音频等等,与真实世界数据相似。GAN包含两个神经网络,它们被称为生成器和判别器。在训练过程中,这两个网络相互竞争,不断提高自己。 生成器是什么? 生成器是负责生成的神经网络。为了输出结果,它需要输入。生成器所接受的输入是一些随机噪声。生成器将这些随机噪声转化为与真实数据相似的输出。每次从判别器那里得到反馈后,它都会不断改善自己,并在下一次生成更好的数据。例如,以图像生成为例,生成器会生成图像。随着训练的进行,它从随机噪声开始,最终改进输出,使其越来越逼真。第一次可能不会产生与原始数据最相似的输出。有时它甚至生成根本不是图像的东西。随着训练的进行,会生成更准确的数据。 判别器是什么? 判别器是负责评估的神经网络。为了更易于理解,我们可以把它称为侦探。判别器同时接收由生成器生成的真实数据和伪造数据。它必须区分伪造数据和真实数据。简单来说,它包括将实际数据与伪造数据进行分类。和生成器一样,随着训练的进行,判别器能够越来越好地区分它们。在第一次尝试时可能无法表现出最佳结果。但在训练过程中,它会不断提高,最终能够正确区分大部分伪造数据。正如我所说的,它必须像一个侦探一样工作。 对抗训练 生成器和判别器都要经历训练,这称为对抗训练。正如我之前提到的,它们会进行竞争性的训练。我们知道生成器生成的伪造数据看起来像真实数据,而判别器则试图区分伪造数据。在训练过程的下一步中,生成器旨在改善并生成能够欺骗判别器的伪造数据。然后判别器会检测到这些伪造数据。这样一来,它们在各自的任务中不断提高。该过程将持续进行,直到生成器生成的数据非常逼真且判别器无法与真实数据区分。此时,GAN达到了一种平衡状态,生成的数据非常类似于真实数据。 实施 让我们首先导入所有必要的库。这主要包括一些torch模块。我们将使用matplotlib进行可视化。 from __future__ import print_function%matplotlib…

Leave a Comment

在数据科学中使用MLOps实施基于需求的酒店房间定价

介绍 在Covid期间,酒店业的收入大幅下降。因此,当人们开始更多地旅行时,吸引顾客仍然是一个挑战。我们将开发一种机器学习工具来解决这个问题,并设置试衣间以吸引更多顾客。利用酒店的数据集,我们将建立一个人工智能工具来选择正确的房价,提高入住率,增加酒店的收入。 学习目标 设置酒店房间正确价格的重要性。 清洗数据,转换数据集和预处理数据集。 使用酒店预订数据创建地图和可视化图表。 数据科学中使用酒店预订数据分析的实际应用。 使用Python编程语言进行酒店预订数据分析。 本文作为数据科学博客马拉松的一部分发表。 什么是酒店房价数据集? 酒店预订数据集包含来自不同来源的数据,包括酒店类型、成人数量、停留时间、特殊要求等列。这些值可以帮助预测酒店房价,从而增加酒店的收入。 酒店房价分析是什么? 在酒店房价分析中,我们将分析数据集的模式和趋势。根据这些信息,我们将进行与定价和运营相关的决策。这些决策将受到多个因素的影响。 季节性:房价在旺季(如假期)大幅上涨。 需求:当需求高时(如庆典活动或体育赛事),房价会上涨。 竞争:酒店房价受附近酒店价格的影响很大。如果一个地区的酒店数量过多,则房价会降低。 设施:如果酒店有游泳池、水疗中心和健身房等设施,它们会对这些设施收取更高的费用。 位置:位于主要城镇的酒店相比较而言可以收费更高。 正确设置酒店房价的重要性 设置房价对于增加收入和利润至关重要。正确设置酒店房价的重要性如下: 最大化收入:房价是增加收入的主要关键。通过设置有竞争力的价格,酒店可以增加收入。 增加客户:当房价公平时,更多客人会预订酒店。这有助于增加入住率。 最大化利润:酒店试图提高价格以增加利润。然而,提高价格会减少客人数量,而正确设置价格会增加客人数量。 收集数据和预处理 数据收集和预处理是酒店房价分析的重要部分。数据是从酒店网站、预订网站和公共数据集收集的。然后将该数据集转换为可视化所需的格式。在预处理过程中,数据集经历数据清洗和转换。新转换的数据集用于可视化和模型构建。…

Leave a Comment

农业中的视觉变压器 | 收获创新

介绍 农业一直是人类文明的基石,为全球数十亿人提供食物和生计。随着科技的进步,我们发现了增强农业实践的新颖方法。其中一项进展是使用视觉转换器(ViTs)来对作物的叶病进行分类。在本博客中,我们将探讨视觉转换器在农业中的革命性,通过提供一种高效准确的解决方案来识别和缓解作物病害。 木薯,又称木薯或椰菜,是一种多用途的作物,可用于提供日常主食和工业应用。它的耐寒能力和抗逆性使其成为在环境条件艰苦的地区必不可少的作物。然而,木薯植株容易受到各种病害的侵袭,其中CMD和CBSD是最具破坏性的病害之一。 CMD是由白蝗传播的病毒复合体引起的,导致木薯叶片出现严重的驳斑症状。而CBSD则是由两种相关病毒引起的,主要影响储存根,使其无法食用。及早识别这些病害对于防止作物大面积损害和确保粮食安全至关重要。视觉转换器是转换器架构的进化版本,最初设计用于自然语言处理(NLP),在处理视觉数据方面表现出高度有效性。这些模型将图像作为补丁的序列进行处理,使用自注意机制来捕捉数据中的复杂模式和关系。在木薯叶病分类的背景下,ViTs通过分析感染木薯叶子的图像来训练以识别CMD和CBSD。 学习成果 了解视觉转换器及其在农业中的应用,特别是叶病分类方面。 了解转换器架构的基本概念,包括自注意机制,以及如何将其适应于视觉数据处理。 了解视觉转换器(ViTs)在农业中的创新应用,特别是对木薯叶病早期检测的应用。 深入了解视觉转换器的优势,如可扩展性和全局上下文,以及它们面临的挑战,包括计算要求和数据效率。 本文是作为“数据科学博文马拉松”的一部分发表的。 视觉转换器的崛起 近年来,由于卷积神经网络(CNNs)的发展,计算机视觉取得了巨大的进步。CNNs一直是各种与图像相关的任务的首选架构,从图像分类到目标检测。然而,视觉转换器作为一种强大的替代方案崭露头角,提供了一种新颖的处理视觉信息的方法。Google Research的研究人员在2020年发布了一篇具有开创性的论文,题为“图像价值16×16个单词:大规模图像识别的转换器”。他们将最初设计用于自然语言处理(NLP)的转换器架构应用于计算机视觉领域。这种适应为该领域带来了新的可能性和挑战。 使用ViTs相对于传统方法具有几个优势,包括: 高准确性:ViTs在准确性方面表现出色,可以可靠地检测和区分叶病。 高效性:经过训练后,ViTs可以快速处理图像,适用于实时病害检测。 可扩展性:ViTs可以处理不同大小的数据集,适应不同的农业环境。 泛化能力:ViTs可以泛化到不同的木薯品种和病害类型,减少针对每种情况的特定模型的需求。 转换器架构简介 在深入了解视觉转换器之前,了解转换器架构的核心概念是至关重要的。转换器最初为NLP而设计,革新了语言处理任务。转换器的关键特点是自注意机制和并行化,可以更全面地理解上下文并加快训练速度。 转换器的核心是自注意机制,它使模型在进行预测时可以权衡不同输入元素的重要性。这种机制与多头注意力层结合使用,可以捕捉数据中的复杂关系。 那么,视觉转换器如何将转换器架构应用于计算机视觉领域呢?视觉转换器的基本思想是将图像视为补丁的序列,就像NLP任务将文本视为单词的序列一样。然后,转换器层通过将图像中的每个补丁嵌入向量来处理它。 Vision Transformer的关键组件 图像切片嵌入:将图像分为固定大小的非重叠切片,通常为16×16像素。然后将每个切片线性嵌入到较低维度的向量中。…

Leave a Comment

在多云环境中使用亚马逊SageMaker训练和部署机器学习模型

在本文中,我们展示了在多云环境中利用AWS最广泛、最深入的人工智能/机器学习能力的众多选项之一我们展示了如何在AWS中构建和训练一个机器学习模型,并在另一个平台上部署该模型我们使用Amazon SageMaker训练模型,将模型工件存储在Amazon Simple Storage Service(Amazon S3)中,并在Azure中部署和运行该模型

Leave a Comment

前20个数据工程项目创意[附源代码]

数据工程在广阔的数据生态系统中扮演着关键角色,通过收集、转换和传递数据,为分析、报告和机器学习提供必要的数据。有志于成为数据工程师的人常常寻求真实世界的项目,以获得实践经验并展示他们的专业知识。本文介绍了前 20 个数据工程项目创意及其源代码。无论您是初学者、中级工程师还是高级从业者,这些项目都为您提供了一个优秀的机会来提升您的数据工程技能。 初学者的数据工程项目 1. 智能物联网基础设施 目标 该项目的主要目标是建立一个可靠的数据管道,用于收集和分析物联网设备的数据。网络摄像头、温度传感器、运动探测器和其他物联网设备都会产生大量数据。您希望设计一个系统,能够有效地消耗、存储、处理和分析这些数据。通过这样做,基于物联网数据的实时监控和决策成为可能。 解决方案 利用 Apache Kafka 或 MQTT 等技术,从物联网设备高效地摄取数据。这些技术支持高吞吐量的数据流。 使用 Apache Cassandra 或 MongoDB 等可扩展数据库来存储传入的物联网数据。这些 NoSQL 数据库能够处理大量和多样化的物联网数据。 使用 Apache…

Leave a Comment

Can't find what you're looking for? Try refining your search: