Press "Enter" to skip to content

55 search results for "conda"

彼得·王,Anaconda首席执行官兼联合创始人——访谈系列

Peter Wang是Anaconda的CEO兼联合创始人在创办Anaconda(前身为Continuum Analytics)之前,Peter在软件设计和开发领域拥有15年经验,在包括3D图形、地球物理学、大数据模拟和可视化、金融风险建模以及医学影像学等广泛领域进行工作作为PyData社区和会议的创始人之一,[…]

Leave a Comment

使用Amazon DocumentDB在Amazon SageMaker Canvas中构建无代码机器学习解决方案

我们很高兴地宣布亚马逊文档数据库(兼容MongoDB)与亚马逊SageMaker Canvas的集成正式发布,这使得亚马逊文档数据库的客户可以在不编写代码的情况下构建和使用生成型人工智能和机器学习(ML)解决方案亚马逊文档数据库是一个完全托管的本地JSON文档数据库,使操作关键业务变得简单且具有成本效益

Leave a Comment

提高在Amazon SageMaker Studio上的生产力:介绍JupyterLab Spaces和生成AI工具

亚马逊SageMaker Studio为机器学习开发提供了一系列完全托管的集成开发环境(IDE),包括JupyterLab、基于Code-OSS(Visual Studio Code开源版)的代码编辑器和RStudio它为每个ML开发步骤提供了最全面的工具集,从数据准备到建立、训练[…]

Leave a Comment

使用AutoGen轻松进行战略AI团队建设

介绍 在一个数字前沿无边界的世界中,AutoGen以一种变革性范式的建筑师的身份出现。想象一下拥有个性化的人工智能团队,每个团队都擅长不同领域,无缝协作,无障碍沟通,不知疲倦地处理复杂任务。这就是AutoGen的本质,它是一种开创性的多智能体对话框架,赋予您创建个性化的人工智能团队的能力。在这篇文章中,我们揭开AutoGen的神奇之处,探索它如何使您能够组建自己的数字梦想团队并实现非凡成就。欢迎来到一个人与机器之间的边界消失,协作无限的未来。 学习目标 在我们深入了解细节之前,让我们概述一下本文的主要学习目标: 全面了解AutoGen作为多智能体对话框架的能力。 了解智能体在多智能体对话框架中的自主沟通和协作。 了解config_list在AutoGen运行中的关键作用。了解保护API密钥和管理配置以实现智能体高效性能的最佳实践。 探索各种对话风格,从完全自主到人类参与的交互。了解AutoGen支持的静态和动态对话模式。 了解如何利用AutoGen根据验证数据、评估函数和优化指标调整LLM。 探索示例,如构建协作内容创作团队和带有文化背景的语言翻译,以了解AutoGen如何在不同场景中应用。 本文作为数据科学博文马拉松的一部分发表。 AutoGen是什么? AutoGen是一个统一的多智能体对话框架,作为使用基础模型的高级抽象。它将能力强大、可定制、可对话的智能体通过自动化聊天集合在一起,与LLMs、工具和人类参与者整合。本质上,它使智能体能够自主沟通和协作,有效地简化复杂任务并自动化工作流程。 为什么AutoGen很重要? AutoGen解决了与人工智能进行高效灵活的多智能体通信的需求。它的重要性在于它能够: 简化复杂LLM工作流程的编排、自动化和优化。 充分发挥LLM模型的性能,同时克服其局限性。 以最少的工作量基于多智能体对话开发下一代LLM应用。 设置开发环境 创建虚拟环境 创建虚拟环境是一种良好的实践,可以隔离特定项目的依赖项,避免与系统范围的软件包冲突。以下是设置Python环境的方法: 选项1:Venv python -m venv…

Leave a Comment

使用预选算法在Amazon SageMaker自动模型调整中实现定制的AutoML作业

AutoML可以让您在机器学习(ML)项目的生命周期初期就能从数据中快速得出一般性见解提前了解哪些预处理技术和算法类型能够提供最佳结果,能够减少开发、训练和部署正确模型所需的时间它在每个模型的开发过程中起着至关重要的作用[…]

Leave a Comment

MLOps 使用实施欺诈交易检测

介绍 在当今数字化的世界中,人们越来越倾向于通过在线交易和数字支付来进行交易,而不是使用现金,这是因为它的便利性。随着过渡的增加,欺诈行为也在增加。欺诈交易可以是任何类型,因为它涉及使用虚假身份或虚假信息要求钱款。这给个人和金融机构带来了重大问题。在这个项目中,我们将使用信用卡数据集来设计使用Airflow工具监控实时交易并预测其是否真实或欺诈的MLOPs模型。 学习目标 检测欺诈交易的重要性。 清理数据,转换数据集和预处理数据。 对数据集进行可视化分析以获得洞察力。 在数据科学中使用欺诈交易检测模型的实际应用。 使用Python编程语言进行欺诈交易数据分析 使用MS Azure和Airflow构建端到端的欺诈检测 本文作为数据科学博文马拉松的一部分发布。 什么是欺诈交易估计模型? 欺诈交易数据集包含来自不同来源的数据,其中包含交易时间、姓名、金额、性别、类别等列。欺诈交易估计模型是一个用于预测虚假交易的机器学习模型。该模型是在大量有效交易和欺诈交易的基础上进行训练的,以预测新的虚假交易。 什么是欺诈交易分析? 欺诈交易分析是分析过去数据集的过程。数据集分析旨在发现数据中的异常情况并找出数据集中的模式。欺诈交易分析在保护客户和减少财务损失方面起着关键作用。有不同类型的欺诈交易分析,例如基于规则的分析和异常检测。 基于规则的分析:基于规则的分析涉及创建规则来标记无效交易。例如,可以根据地理区域制定规则。 异常检测:异常检测涉及发现异常或异常的交易。例如,从新的IP地址进行的交易。 检测欺诈交易的重要性 对于企业和金融机构来说,检测欺诈交易对于保护客户免受欺诈和保护他们的资金至关重要。以下是检测欺诈交易的一些关键原因。 减少财务损失:欺诈交易给企业带来巨额财务损失,从而减少它们的利润。因此,企业检测欺诈交易变得至关重要。 维护声誉:维护声誉对于企业来说是至关重要的,因为它会导致潜在客户和顾客的流失。 保护客户和企业:欺诈交易可能对客户造成财务损失和情感影响。通过检测欺诈交易,企业可以保护客户和他们的业务。 数据收集和预处理 数据收集和预处理是开发欺诈检测模型的重要部分。一旦收集到数据,需要对数据集执行多个步骤。 数据清理:数据清理包括删除不需要的数据,例如重复数据,并填充缺失的数据值。…

Leave a Comment

在数据科学中使用MLOps实施基于需求的酒店房间定价

介绍 在Covid期间,酒店业的收入大幅下降。因此,当人们开始更多地旅行时,吸引顾客仍然是一个挑战。我们将开发一种机器学习工具来解决这个问题,并设置试衣间以吸引更多顾客。利用酒店的数据集,我们将建立一个人工智能工具来选择正确的房价,提高入住率,增加酒店的收入。 学习目标 设置酒店房间正确价格的重要性。 清洗数据,转换数据集和预处理数据集。 使用酒店预订数据创建地图和可视化图表。 数据科学中使用酒店预订数据分析的实际应用。 使用Python编程语言进行酒店预订数据分析。 本文作为数据科学博客马拉松的一部分发表。 什么是酒店房价数据集? 酒店预订数据集包含来自不同来源的数据,包括酒店类型、成人数量、停留时间、特殊要求等列。这些值可以帮助预测酒店房价,从而增加酒店的收入。 酒店房价分析是什么? 在酒店房价分析中,我们将分析数据集的模式和趋势。根据这些信息,我们将进行与定价和运营相关的决策。这些决策将受到多个因素的影响。 季节性:房价在旺季(如假期)大幅上涨。 需求:当需求高时(如庆典活动或体育赛事),房价会上涨。 竞争:酒店房价受附近酒店价格的影响很大。如果一个地区的酒店数量过多,则房价会降低。 设施:如果酒店有游泳池、水疗中心和健身房等设施,它们会对这些设施收取更高的费用。 位置:位于主要城镇的酒店相比较而言可以收费更高。 正确设置酒店房价的重要性 设置房价对于增加收入和利润至关重要。正确设置酒店房价的重要性如下: 最大化收入:房价是增加收入的主要关键。通过设置有竞争力的价格,酒店可以增加收入。 增加客户:当房价公平时,更多客人会预订酒店。这有助于增加入住率。 最大化利润:酒店试图提高价格以增加利润。然而,提高价格会减少客人数量,而正确设置价格会增加客人数量。 收集数据和预处理 数据收集和预处理是酒店房价分析的重要部分。数据是从酒店网站、预订网站和公共数据集收集的。然后将该数据集转换为可视化所需的格式。在预处理过程中,数据集经历数据清洗和转换。新转换的数据集用于可视化和模型构建。…

Leave a Comment

使用MLflow进行机器学习实验追踪

介绍 机器学习(ML)领域正在迅速扩展,并在许多不同的行业中应用。随着机器学习实验使用MLflow进行跟踪和管理所需的试验变得越来越复杂,跟踪它们变得更加困难。这可能会给数据科学家带来许多问题,例如: 实验丢失或重复:跟踪所有进行的实验可能具有挑战性,这会增加实验丢失或重复的风险。 结果的可重现性:可能很难复制实验的发现,这使得故障排除和提高模型变得困难。 透明度不足:可能难以相信模型的预测,因为难以理解模型是如何创建的。 CHUTTERSNAP在Unsplash上的照片 鉴于上述挑战,拥有一个可以跟踪所有ML实验并记录度量指标以实现更好的可重现性并促进协作的工具非常重要。本博客将探索和学习MLflow,一个开源的ML实验跟踪和模型管理工具,并提供代码示例。 学习目标 在本文中,我们旨在对使用MLflow进行机器学习实验跟踪和模型注册有一个清晰的理解。 此外,我们将学习如何以可重复和可重用的方式交付ML项目。 最后,我们将了解LLM是什么,以及为什么需要跟踪LLM对于应用程序开发。 什么是MLflow? MLflow标志(来源:官方网站) 称为MLflow的机器学习实验跟踪和模型管理软件使处理机器学习项目变得更加容易。它提供了各种工具和功能来简化ML工作流程。用户可以比较和复制结果,记录参数和度量指标,并跟踪MLflow实验。此外,它还简化了模型打包和部署。 使用MLflow,您可以在训练运行过程中记录参数和度量指标。 # 导入mlflow库 import mlflow # 开始mlflow跟踪 mlflow.start_run() mlflow.log_param(“learning_rate”, 0.01) mlflow.log_metric(“accuracy”,…

Leave a Comment

VirtuSwap如何利用Amazon SageMaker Studio自定义容器和AWS GPU实例加速基于pandas的交易模拟

这篇文章是与VirtuSwap的Dima Zadorozhny和Fuad Babaev合作撰写的VirtuSwap是一家初创公司,专注于开发区块链上资产去中心化交换的创新技术VirtuSwap的技术为那些没有直接配对的资产提供更高效的交易方式缺乏直接配对导致间接交易成本高昂,[…]

Leave a Comment

在您的本地机器上释放GenAI LLMs的潜力!

介绍 自从GenAI LLMs发布以来,我们已经开始以各种方式使用它们。最常见的方式是通过像OpenAI网站这样的网站使用ChatGPT或通过OpenAI的GPT3.5 API、Google的PaLM API或其他网站(如Hugging Face、Perplexity.ai)使用大型语言模型的API进行交互。 在所有这些方法中,我们的数据被发送到我们的计算机之外。它们可能容易受到网络攻击(尽管所有这些网站都保证最高的安全性,但我们不知道会发生什么)。有时,我们希望在本地运行这些大型语言模型,如果可能的话,对它们进行本地调整。在本文中,我们将介绍如何设置LLMs以在Oobabooga上本地运行。 学习目标 了解在本地系统上部署大型语言模型的重要性和挑战。 学习在本地创建运行大型语言模型的设置。 探索可以在给定的CPU、RAM和GPU Vram规格下运行的模型。 学习从Hugging Face下载任何大型语言模型以在本地使用。 检查如何为大型语言模型分配GPU内存以运行。 本文是作为数据科学博文马拉松的一部分发表的。 什么是Oobabooga? Oobabooga是一个用于大型语言模型的文本生成Web界面。Oobabooga是一个基于Gradio的Web UI。Gradio是一个被机器学习爱好者广泛使用的Python库,用于构建Web应用程序,Oobabooga就是使用这个库构建的。Oobabooga将所有在尝试在本地运行大型语言模型时需要设置的复杂事物都抽象出来。Oobabooga附带了许多扩展来集成其他功能。 使用Oobabooga,您可以提供来自Hugging Face的模型链接,它将下载模型,然后您可以立即开始推理模型。Oobabooga具有许多功能,并支持不同的模型后端,如GGML、GPTQ、exllama和llama.cpp版本。您甚至可以在LLM之上使用这个UI加载一个LoRA(低秩适应)。Oobabooga可以让您训练大型语言模型,创建聊天机器人/ LoRA。在本文中,我们将详细介绍使用Conda安装此软件。 设置环境 在本节中,我们将使用conda创建一个虚拟环境。所以,要创建一个新的环境,打开Anaconda Prompt并输入以下命令。…

Leave a Comment

使用Amazon SageMaker Clarify在临床环境中解释医疗决策

在这篇文章中,我们展示了如何使用Amazon SageMaker Clarify来改进临床环境中的模型可解释性在医学领域中使用的机器学习(ML)模型的可解释性变得越来越重要,因为为了获得认可,这些模型需要从多个角度进行解释这些角度包括医学、技术、法律和最重要的——患者的角度在医学领域中,基于文本开发的模型在统计学上已经变得准确,然而,为了为每个病人提供最佳护理,临床医生在伦理上要求评估与这些预测相关的弱点为了让临床医生能够根据每个病人的情况做出正确的选择,这些预测的可解释性是必需的

Leave a Comment

Can't find what you're looking for? Try refining your search: