Press "Enter" to skip to content

80 search results for "异常检测"

ATLAS研究人员通过无监督机器学习中的异常检测探索新颖现象

自2009年成立以来,大型强子对撞机(LHC)一直是科学探索的先锋工具,旨在揭示超越标准模型边界的粒子和现象。然而,寻找新物理的传统方法涉及复杂的计算机模拟,将观测到的碰撞数据与标准模型和其他理论模型的预测相匹配。这些方法受到预定义模型和模拟的限制,可能忽视不符合这些模型的意外现象。为了解决这个限制,研究人员转向无监督机器学习,以检测碰撞数据中可能表示新物理现象的异常。 目前,寻找新物理涉及模拟,模拟已知粒子的行为,根据已建立的模型。将准确的碰撞数据与这些模拟进行比较,有助于识别可能暗示新现象的偏差。另一种方法是寻找标准模型背景的微小变化,这表明存在新的过程。然而,这些方法受到所测试模型固有假设的限制。 ATLAS的一项新研究提出了一种用于分析LHC碰撞数据的新框架。这个框架利用无监督机器学习技术,特别是一种复杂的神经网络,称为自编码器。与现有方法不同,这种方法不受模型和预设期望的限制。 引入的框架涉及对实际LHC碰撞数据进行复杂神经网络的训练。这个由许多相互连接的“神经元”组成的网络被称为自编码器。训练过程涉及压缩输入数据,然后在比较初始输入和输出时进行解压缩。通过这种比较,自编码器可以识别“典型”的碰撞事件并将其滤除,留下偏离正常的事件-称为“异常”。异常表示神经网络在识别模式时遇到困难,暗示着可能存在新的物理现象。为了评估这些异常,研究人员分析碰撞中粒子的不变质量,并评估它们是否可以归因于标准模型过程。 通过识别和表征异常事件,可以衡量这种方法的成功。自编码器检测到的异常事件被仔细检查,以确定它们与新的物理现象的潜在联系。输入和输出数据之间的重建差异越大,事件与标准模型之外的新物理相关的可能性越大。 总之,尽管传统的LHC寻找新物理的方法有效,但受到对预定义模型和模拟的依赖的限制。研究人员提出的新方法通过自编码器引入了无监督机器学习,实现了对碰撞数据的无模型分析。这个框架有潜力揭示逃脱传统方法的意外现象。通过关注自编码器检测到的异常,科学家可以揭示超出我们对宇宙当前理解的粒子和相互作用的奥秘。

Leave a Comment

“Enel使用Amazon SageMaker自动化大规模电网资产管理和异常检测”

这是Mario Namtao Shianti Larcher的客座文章,他是Enel的计算机视觉负责人Enel起初是意大利的国家电力实体,如今已发展成为在32个国家拥有7400万用户的跨国公司,也是全球第一家私人网络运营商它还被认为是第一家可再生能源…

Leave a Comment

在金融科技API管理中释放人工智能的力量:产品经理的全面指南

这份全面的指南探索了人工智能在金融技术API管理中的改变性作用,并为每个部分提供了实际示例从由人工智能驱动的洞察力和异常检测到由人工智能增强的设计、测试、安全性和个性化用户体验,金融科技产品经理必须利用人工智能的能力来优化运营、提升安全性并提供最佳的用户体验

Leave a Comment

AI在欺诈检测中的应用方式是怎样的?

西部野蛮时代有枪手、抢劫银行和悬赏–而今日数字时代有身份盗窃、信用卡欺诈和退款。 利用金融诈骗赚钱已成为一项数十亿美元的犯罪活动。而诈骗者手中的生成式人工智能只会使这种盈利更加丰厚。 根据《尼尔森报告》,全球信用卡损失预计将在2026年达到430亿美元。 金融诈骗以越来越多的方式进行,比如从暗网窃取被黑客攻击的数据实施信用卡盗窃,利用生成式人工智能进行钓鱼式获取个人信息,并在加密货币、数字钱包和法定货币之间洗钱。还有许多其他金融诈骗计划潜伏在数字黑社会。 为了跟上步伐,金融服务公司正在利用人工智能进行诈骗检测。这是因为许多数字犯罪需要及时阻止,以便消费者和金融公司能够立即停止损失。 那么人工智能如何用于诈骗检测呢? 人工智能用于诈骗检测使用多个机器学习模型来检测客户行为和联系的异常,以及符合欺诈特征的账户和行为模式。 生成式人工智能可以用作诈骗辅助 金融服务中很多内容涉及文本和数字。生成式人工智能和大型语言模型(LLMs)能够学习意义和背景,承诺在各行各业带来颠覆性的能力和生产力水平。金融服务公司可以利用生成式人工智能开发更智能、更有能力的聊天机器人,并改进诈骗检测。 而反派角色可以通过狡猾的生成式人工智能提示来绕过人工智能保障,用于欺诈。而且大型语言模型正在提供类似人类写作的能力,使诈骗分子能够撰写更具上下文相关的电子邮件,而无需拼写错误和语法错误。可以快速创建许多不同版本的钓鱼邮件,使生成式人工智能成为实施欺诈的绝佳副驾驶员。还有许多诸如FraudGPT之类的暗网工具,可以利用生成式人工智能进行网络犯罪。 生成式人工智能也可以用于声音认证安全措施的金融损害。一些银行正在使用声音认证来帮助授权用户。如果攻击者能够获取声音样本,他们可以使用深度伪造技术克隆银行客户的声音,试图突破这些系统。声音数据可以通过试图引诱通话接收者通过声音作出回应的垃圾电话来收集。 聊天机器人诈骗问题如此严重,以至于美国联邦贸易委员会提出了有关使用大型语言模型和其他技术模拟人类行为,用于伪造视频和声音克隆的关注和担忧。 生成式人工智能如何解决滥用和诈骗检测问题? 诈骗审查现在有强大的新工具。处理手动诈骗审查的工作人员可以通过在后端运行基于LLM的助手,利用来自政策文件的信息来加速决策,判断案件是否属于欺诈,从而大大加快处理过程。 大型语言模型被采用来预测客户的下一笔交易,这有助于支付公司预先评估风险并阻止欺诈交易。 生成式人工智能还通过提高准确性、生成报告、减少调查和降低合规风险来帮助打击交易诈骗。 生成合成数据是生成式人工智能用于欺诈预防的另一个重要应用。合成数据可以提高用于训练诈骗检测模型的数据记录数量,增加示例的多样性和复杂性,使人工智能能够识别欺诈者使用的最新技术。 NVIDIA提供了帮助企业采用生成式人工智能构建聊天机器人和虚拟代理的工具,使用了检索增强生成技术。检索增强生成使公司能够利用自然语言提示来访问大量数据集进行信息检索。 利用NVIDIA的人工智能工作流程可以帮助加速构建和部署适用于各种用例的企业级能力,使用基础模型、NVIDIA NeMo框架、NVIDIA Triton推理服务器和GPU加速矢量数据库来部署检索增强生成技术的聊天机器人。 行业专注于安全,以确保生成型人工智能不易被滥用造成伤害。NVIDIA发布了NeMo Guardrails,以帮助确保基于LLMs的智能应用(如OpenAI的ChatGPT)的准确性、适当性、主题相关性和安全性。 该开源软件旨在防止滥用人工智能驱动的应用程序进行欺诈和其他不当使用。 人工智能在识别欺诈方面的好处是什么?…

Leave a Comment

CMU研究人员揭示了扩散-TTA 通过生成反馈提升有区分性的人工智能模型,实现无与伦比的测试适应性

扩散模型用于从复杂的数据分布中生成高质量的样本。鉴别性扩散模型旨在利用扩散模型的原理来进行分类或回归等任务,其中目标是预测给定输入数据的标签或输出。通过利用扩散模型的原理,鉴别性扩散模型具有处理不确定性、对噪声的稳健性和捕捉数据之间复杂依赖关系的潜力等优势。 生成模型可以通过量化新数据点与学习到的数据分布的偏差来识别异常或异常值。它们可以区分正常和异常数据实例,有助于异常检测任务。在传统上,这些生成和鉴别模型被视为相互竞争的选择。卡内基梅隆大学的研究人员在推理阶段将这两个模型耦合起来,以利用生成反演的迭代推理和鉴别模型的拟合能力的好处。 该团队构建了一种基于扩散的测试时间适应(TTA)模型,通过使用图像分类器、分割器和深度预测器的输出来调节图像扩散模型的条件并最大化图像扩散,从而使其适应各个未标记图像。他们的模型类似于编码器解码器架构。一个预训练的鉴别模型将图像编码为假设,如对象类别标签、分割地图或深度地图。这被用作预训练的生成模型的条件生成图像。 扩散-TTA能够有效地适应图像分类器在ImageNet及其变体等已建立基准上的内部和外部分布示例。他们使用图像重构损失对模型进行微调。通过将扩散似然梯度反向传播到鉴别模型权重,对测试集中的每个实例进行适应性处理。他们表明他们的模型优于以前的最先进TTA方法,并且在多个鉴别性和生成性扩散模型变体中都有效。 研究人员还对各种设计选择进行了剖析分析,并研究了扩散-TTA与扩散时间步长、每个时间步长样本数和批量大小等超参数的变化情况。他们还学习了适应不同模型参数的效果。 研究人员表示,扩散-TTA始终优于扩散分类器。他们猜测鉴别模型不会过度拟合生成损失,因为(预训练的)鉴别模型的权重初始化防止其收敛到这个平凡解决方案。 总之,以前已经使用生成模型对图像分类器和分割进行测试时间适应;通过在联合鉴别任务损失和自监督图像重构损失下共同训练扩散-TTA模型,用户可以获得高效的结果。

Leave a Comment

学习数据科学需要多久时间?

介绍 数据科学已经成为技术市场上最有价值的技能之一。在数据科学革命之前,处理数百万个测试用例的数据需要花费长达11-12年的时间。但现在,只需几个月,有时甚至只需要几个星期!那么,学习数据科学需要多长时间?令人惊讶的是,你只需要一年就可以成为一名数据科学家。这取决于你的学习速度和持续性。让我们看看成为数据科学家需要多长时间,以及为什么你应该成为一名数据科学家。 为什么选择数据科学职业? 机器学习和人工智能正在征服世界,得益于不断发展的技术世界。根据预测,到2026年,数据科学市场收入预计将达到$3229亿美元。技术、大数据和机器学习算法在企业中的快速应用导致了数据科学的快速增长。 根据劳动统计局的数据,数据科学家平均年薪约为$100,000。有许多职业机会可供选择,你可以成为数据分析师、数据科学家等,拥有高薪水,符合你的技能。 成为数据科学家需要多长时间? 每个人成为数据科学家的道路可能不同。如果我们将每个月分为特定的主题,你可以在12个月内学习数据科学。只要保持持续的努力和学习的热情,任何人都可以在一年内掌握数据科学的艺术。 然而,学习曲线取决于你的持续性和学习数据科学的时间。由于之前对数据科学具有基础知识,有些人可以较短时间内掌握数据科学。 跟随并在12个月内学习数据科学的基础和复杂概念。让我们看看每个月的内容蓝图,了解学习数据科学需要多长时间。 第1个月:数据科学工具包 让我们以基本的数据科学工具开启你成为数据科学家的旅程。通过学习常见但重要的数据科学工具,如Python及其库NumPy、Pandas、Matplotlib和Seaborn,可以为接下来几个月打下坚实的基础。 第2个月:数据可视化 在打下坚实基础之后,我们进入成为数据科学家的下一个阶段,掌握数据可视化的艺术。熟悉数据可视化工具,如Tableau,掌握绘制图表、分布地图等技术。本月还将开始学习SQL。 第3个月:数据探索 第三个月重点介绍如何利用隐藏数据进行数据探索。数据探索是指将信息型数据以关键洞察的形式展示出来。本月将教你如何使用探索性数据分析(EDA)探索数据。你可以学习成为一名数据科学家所需的统计学基础知识。 第4个月:机器学习基础与讲故事的艺术 本月将开始你的机器学习奇妙之旅。你将学习机器学习的基础知识,并熟悉技术术语和技巧。通过结构化思维,你将掌握讲故事的艺术。 第5个月:高级机器学习 从第五个月开始,事情将变得严肃起来,因为您将学习高级机器学习算法来提升您的技能。在这个月里,您可以期望学习特征工程以及如何处理文本和图像。 第六个月:无监督机器学习 在这个月里,学会处理非结构化和无标签的数据。学习如何使用无监督机器学习算法处理非结构化数据,例如PCA、聚类、K-Means、异常检测等。您将终于开始进行项目。 第七个月:推荐引擎 推荐系统是Netflix、YouTube、Zomato等准确推荐背后的支撑。在第七个月,学习不同推荐技术背后的逻辑以及如何构建推荐引擎。同时,进一步实施令人兴奋的项目。 第八个月:处理时间序列数据 全球许多组织依赖时间序列数据观察数据集随时间的重复测量。在这个月里,学习如何处理时间序列数据,以及解决时间序列问题的有效技术。…

Leave a Comment

“深入挖掘 Rust 编写的矢量数据库 Qdrant”

介绍 Vector数据库已经成为存储和索引非结构化和结构化数据表示的首选位置。这些表示是由嵌入模型生成的向量嵌入。向量存储已成为开发带有深度学习模型的应用程序的重要组成部分,尤其是大型语言模型。在向量存储的不断发展中,Qdrant是最近推出的一个功能齐全的向量数据库。让我们深入了解一下。 学习目标 熟悉Qdrant的术语,以更好地理解它 深入研究Qdrant Cloud并创建Clusters 学习如何创建我们的文档的嵌入并将它们存储在Qdrant Collections中 探索在Qdrant中查询的工作原理 在Qdrant中调试过滤器,以检查其工作原理 本文作为Data Science Blogathon的一部分发表。 什么是嵌入? 嵌入是一种以数字形式表示数据的方式,即以n维空间中的数字或数值向量的形式表示不同类型的数据,如文本、照片、音频、视频等。嵌入使我们能够以这种方式对相关数据进行分组。使用特定模型可以将某些输入转换为向量。Google创建的一种广为人知的嵌入模型是将单词转化为向量(向量是具有n维的点),称之为Word2Vec。每个大型语言模型都有一个嵌入模型,用于生成LLM的嵌入。 嵌入的用途是什么? 将单词转换为向量的一个优点是可以进行比较。当拿到两个单词作为数字输入或向量嵌入时,计算机可以进行比较,尽管它无法直接比较它们。可以将具有可比较嵌入的单词分组在一起。因为它们彼此相关,诸如“王”、“皇后”、“王子”和“公主”这些术语将出现在一个聚类中。 从这个意义上讲,嵌入帮助我们找到与给定术语相关的单词。这可以用于句子,我们输入一个句子,提供的数据返回相关的句子。这为许多用例奠定了基础,包括聊天机器人、句子相似性、异常检测和语义搜索。我们开发的用于根据我们提供的PDF或文档回答问题的聊天机器人利用了这种嵌入概念。所有生成式大型语言模型都使用这种方法,以获得与他们提供的查询相关联的内容。 什么是向量数据库? 如前所述,嵌入是各种数据的表示,通常是非结构化数据以数字格式在n维空间中。那么我们该如何存储它们呢?传统的关系型数据库管理系统(RDMS)不能用于存储这些向量嵌入。这就是向量存储/向量数据库发挥作用的地方。向量数据库的设计目的是以高效的方式存储和检索向量嵌入。有许多不同的向量存储器,它们通过所支持的嵌入模型和用于获取相似向量的搜索算法的种类而有所不同。 什么是Qdrant? Qdrant是一种新型的向量相似性搜索引擎和向量数据库,采用Rust语言构建的可用于生产的服务。Qdrant具有用户友好的API,用于存储、搜索和管理具有元数据的高维点(点就是向量嵌入),这些元数据称为载荷。这些载荷成为有价值的信息,提高搜索精度,并为用户提供有见地的数据。如果您熟悉其他向量数据库,如Chroma,Payload类似于元数据,它包含有关向量的信息。 Qdrant是用Rust编写的,即使在负载很重的情况下也是快速可靠的向量存储。Qdrant与其他数据库的区别在于它提供的客户端API数量。目前,Qdrant支持Python、TypeScript/JavaScript、Rust和Go。它使用HSNW(层次可导航小世界图)进行向量索引,并提供了许多距离度量,如余弦、点和欧氏距离。它还提供了一个内置的推荐API。 了解Qdrant术语 要顺利开始使用Qdrant,熟悉Qdrant向量数据库中的术语/主要组件是一个好习惯。…

Leave a Comment

Middleware.io引入生成式AI驱动的云可观察性平台

云原生应用领域出现了一个紧迫的挑战——即需要观测性。随着云计算的快速崛起和微服务的大量使用,现代应用变得复杂起来,分布在全球各地的服务器上,并每天处理大量数据。这种复杂性增加了企业应对观测性在实现核心目标上的关键重要性。即使短暂中断,也会导致收入损失并损害公司的声誉。这是许多组织今天面临的困境。 虽然对观测性的需求是清楚的,但现有解决方案往往必须及时提供对云原生应用程序复杂性的洞察。这种差距使得组织在寻求更高效的故障排除和主动问题管理时陷入困境。快节奏的数字领域要求迅速行动,因此实时识别和解决问题至关重要。 中间件介绍了一种有希望的解决方案来解决这个观测性难题,这是一款颠覆性的云原生观测性平台,利用先进的人工智能技术。该平台利用基于AI驱动的异常检测和解决方案,其中关键工具是AI顾问。该顾问指出基础设施和应用程序问题,并提供有效的解决方案来解决问题。该平台的独特之处在于它的预测能力,可以根据数据趋势预测即将发生的错误。这种主动的问题管理方法对于寻求降低不断演变的数字领域风险的组织来说是一个改变者。 这个创新平台最令人信服的方面之一是它强大的实时监控功能。通过用户友好的仪表板,组织可直观地访问关键指标、日志、追踪和事件,从而极大地增强了对技术栈的可见性。该平台的AI驱动功能将问题分类为三类——关键问题、VoAGI和低问题,使组织能够有效地优先处理并解决它们。AI顾问提供有关问题的详细信息,包括受影响的资源和详细解决方案,使用户能够快速修复。 这项革命性的解决方案来临之际,对观测性的需求达到了历史最高水平,有86%的组织认识到它是实现核心业务目标的重要推动因素。AI的引入,尤其是GPT-4,有可能彻底改变组织管理和故障排除云原生应用程序的方式。通过最近获得的650万美元种子资金注入,该平台正处于扩张、团队增长和进一步AI功能开发的阶段,为云原生时代的观测性带来了光明的前景。 总之,云原生应用程序带来的复杂性以及数字时代需要快速故障排除的需求催生了新的创新解决方案。这个借助先进AI技术赋能的观测性平台是组织在有效应对云原生应用程序挑战时的希望之光。其实时监控、预测能力和用户友好的仪表板使其成为一个引人注目的选择,在每一秒都至关重要的世界中。观测性的未来似乎比以往任何时候都更加积极和有希望。 这篇文章《Middleware.io推出基于生成式AI技术的云原生可观测性平台》最初出现在MarkTechPost上。

Leave a Comment

MLOps 使用实施欺诈交易检测

介绍 在当今数字化的世界中,人们越来越倾向于通过在线交易和数字支付来进行交易,而不是使用现金,这是因为它的便利性。随着过渡的增加,欺诈行为也在增加。欺诈交易可以是任何类型,因为它涉及使用虚假身份或虚假信息要求钱款。这给个人和金融机构带来了重大问题。在这个项目中,我们将使用信用卡数据集来设计使用Airflow工具监控实时交易并预测其是否真实或欺诈的MLOPs模型。 学习目标 检测欺诈交易的重要性。 清理数据,转换数据集和预处理数据。 对数据集进行可视化分析以获得洞察力。 在数据科学中使用欺诈交易检测模型的实际应用。 使用Python编程语言进行欺诈交易数据分析 使用MS Azure和Airflow构建端到端的欺诈检测 本文作为数据科学博文马拉松的一部分发布。 什么是欺诈交易估计模型? 欺诈交易数据集包含来自不同来源的数据,其中包含交易时间、姓名、金额、性别、类别等列。欺诈交易估计模型是一个用于预测虚假交易的机器学习模型。该模型是在大量有效交易和欺诈交易的基础上进行训练的,以预测新的虚假交易。 什么是欺诈交易分析? 欺诈交易分析是分析过去数据集的过程。数据集分析旨在发现数据中的异常情况并找出数据集中的模式。欺诈交易分析在保护客户和减少财务损失方面起着关键作用。有不同类型的欺诈交易分析,例如基于规则的分析和异常检测。 基于规则的分析:基于规则的分析涉及创建规则来标记无效交易。例如,可以根据地理区域制定规则。 异常检测:异常检测涉及发现异常或异常的交易。例如,从新的IP地址进行的交易。 检测欺诈交易的重要性 对于企业和金融机构来说,检测欺诈交易对于保护客户免受欺诈和保护他们的资金至关重要。以下是检测欺诈交易的一些关键原因。 减少财务损失:欺诈交易给企业带来巨额财务损失,从而减少它们的利润。因此,企业检测欺诈交易变得至关重要。 维护声誉:维护声誉对于企业来说是至关重要的,因为它会导致潜在客户和顾客的流失。 保护客户和企业:欺诈交易可能对客户造成财务损失和情感影响。通过检测欺诈交易,企业可以保护客户和他们的业务。 数据收集和预处理 数据收集和预处理是开发欺诈检测模型的重要部分。一旦收集到数据,需要对数据集执行多个步骤。 数据清理:数据清理包括删除不需要的数据,例如重复数据,并填充缺失的数据值。…

Leave a Comment

利用两阶段的亚马逊Rekognition自定义标签模型进行高分辨率图像缺陷检测

高分辨率图像在当今世界非常普遍,从卫星图像到无人机和数码单反相机通过这些图像,我们可以捕捉自然灾害造成的损害,制造设备中的异常情况,或者非常小的缺陷,比如印刷电路板(PCB)或半导体上的缺陷使用高分辨率图像构建异常检测模型可能具有挑战性[…]

Leave a Comment

Can't find what you're looking for? Try refining your search: