介绍 在当今数字化的世界中，人们越来越倾向于通过在线交易和数字支付来进行交易，而不是使用现金，这是因为它的便利性。随着过渡的增加，欺诈行为也在增加。欺诈交易可以是任何类型，因为它涉及使用虚假身份或虚假信息要求钱款。这给个人和金融机构带来了重大问题。在这个项目中，我们将使用信用卡数据集来设计使用Airflow工具监控实时交易并预测其是否真实或欺诈的MLOPs模型。 学习目标 检测欺诈交易的重要性。 清理数据，转换数据集和预处理数据。 对数据集进行可视化分析以获得洞察力。 在数据科学中使用欺诈交易检测模型的实际应用。 使用Python编程语言进行欺诈交易数据分析 使用MS Azure和Airflow构建端到端的欺诈检测 本文作为数据科学博文马拉松的一部分发布。 什么是欺诈交易估计模型？ 欺诈交易数据集包含来自不同来源的数据，其中包含交易时间、姓名、金额、性别、类别等列。欺诈交易估计模型是一个用于预测虚假交易的机器学习模型。该模型是在大量有效交易和欺诈交易的基础上进行训练的，以预测新的虚假交易。 什么是欺诈交易分析？ 欺诈交易分析是分析过去数据集的过程。数据集分析旨在发现数据中的异常情况并找出数据集中的模式。欺诈交易分析在保护客户和减少财务损失方面起着关键作用。有不同类型的欺诈交易分析，例如基于规则的分析和异常检测。 基于规则的分析：基于规则的分析涉及创建规则来标记无效交易。例如，可以根据地理区域制定规则。 异常检测：异常检测涉及发现异常或异常的交易。例如，从新的IP地址进行的交易。 检测欺诈交易的重要性 对于企业和金融机构来说，检测欺诈交易对于保护客户免受欺诈和保护他们的资金至关重要。以下是检测欺诈交易的一些关键原因。 减少财务损失：欺诈交易给企业带来巨额财务损失，从而减少它们的利润。因此，企业检测欺诈交易变得至关重要。 维护声誉：维护声誉对于企业来说是至关重要的，因为它会导致潜在客户和顾客的流失。 保护客户和企业：欺诈交易可能对客户造成财务损失和情感影响。通过检测欺诈交易，企业可以保护客户和他们的业务。 数据收集和预处理 数据收集和预处理是开发欺诈检测模型的重要部分。一旦收集到数据，需要对数据集执行多个步骤。 数据清理：数据清理包括删除不需要的数据，例如重复数据，并填充缺失的数据值。…
Leave a CommentTag: detection
介绍 由于人工智能对人们手工劳动的日益影响，在我们几乎每天都在谈论人工智能。建立AI-enabled软件在短时间内迅速增长。企业和商家相信将可靠和负责任的AI集成到他们的应用程序中以产生更多的收入。将AI集成到应用程序中最具挑战性的部分是在训练模型时使用的模型推理和计算资源。已经存在许多技术来通过使用较少的计算资源在推理过程中优化模型以提高性能。基于这个问题陈述，英特尔推出了OpenVINO Toolkit，这是一个绝对的游戏改变者。OpenVINO是一个用于优化和部署AI推理的开源工具包。 学习目标 在本文中，我们将： 了解OpenVINO Toolkit及其在优化和部署AI推理模型方面的目的。 探索OpenVINO的实际用例，特别是其在边缘人工智能未来中的重要性。 学习如何在Google Colab中使用OpenVINO在图像中实现文本检测项目。 了解使用OpenVINO的关键功能和优势，包括其模型兼容性和对硬件加速器的支持以及它如何影响各个行业和应用。 本文是数据科学博客马拉松的一部分。 什么是OpenVINO？ OpenVINO代表开放的视觉推理和神经网络优化，是由英特尔团队开发的开源工具包，旨在促进深度学习模型的优化。OpenVINO工具包的愿景是通过更高效和更有效的方法在本地、设备上或云中部署您的人工智能深度学习模型。 OpenVINO Toolkit特别有价值，因为它支持许多深度学习框架，包括像TensorFlow、PyTorch、Onnx和Caffe这样流行的框架。您可以使用您喜欢的框架训练模型，然后使用OpenVINO将其转换和优化以在Intel的硬件加速器（如CPU、GPU、FPGA和VPU）上部署。 在推理方面，OpenVINO Toolkit提供了各种模型量化和压缩工具，可以显著减小深度学习模型的大小而不损失推理准确性。 为什么使用OpenVINO？ AI的热潮目前没有减缓的迹象。随着它的流行，显然会开发更多应用程序在本地和设备上运行人工智能应用程序。OpenVINO在以下几个具有挑战性的领域表现出色，这些是选择使用OpenVINO的理想选择的原因： OpenVINO模型库 OpenVINO提供了一个模型库，包含用于稳定扩散、语音、目标检测等任务的预训练深度学习模型。这些模型可以作为您项目的起点，节省时间和资源。 模型兼容性 OpenVINO支持许多深度学习框架，包括TensorFlow、PyTorch、ONNx和Caffe。这意味着您可以使用您喜欢的框架训练模型，然后使用OpenVINO Toolkit将其转换和优化以进行部署。…
Leave a Comment介绍 2023年即将结束，对计算机视觉界而言，令人兴奋的消息是，谷歌最近在零样本目标检测领域取得了重大进展，并发布了OWLv2。这款尖端模型现在已经在🤗 Transformers中可用，并代表着迄今为止最强大的零样本目标检测系统之一。它基于去年推出的OWL-ViT v1模型打下了坚实的基础。 在本文中，我们将介绍该模型的行为和架构，并展示如何进行推理的实践方法。让我们开始吧。 学习目标 了解计算机视觉中零样本目标检测的概念。 了解谷歌OWLv2模型背后的技术和自我训练方法。 使用OWLv2的实际方法。 本文作为Data Science Blogathon的一部分发表。 OWLv2背后的技术 OWLv2的强大能力归功于其新颖的自我训练方法。该模型在一个包含超过10亿个示例的Web规模数据集上进行了训练。为了实现这一点，作者利用了OWL-ViT v1的强大功能，使用它生成伪标签，然后用这些伪标签来训练OWLv2。 此外，该模型还在检测数据上进行了微调，从而提高了其前身OWL-ViT v1的性能。自我训练为开放世界定位提供了Web规模的训练，与目标分类和语言建模领域的趋势相呼应。 OWLv2架构 尽管OWLv2的架构与OWL-ViT相似，但其目标检测头部有一个显著的补充。现在它包括一个目标性分类器，用于预测预测框中包含物体的可能性。目标性得分提供了洞察力，并可用于独立于文本查询对预测进行排序或筛选。 零样本目标检测 零样本学习是一个新的术语，自从GenAI的趋势以来变得流行起来。它通常在大型语言模型（LLM）的微调中见到。它涉及使用一些数据对基础模型进行微调，使其扩展到新的类别。零样本目标检测是计算机视觉领域的一个改变者。它的核心是使模型能够在图像中检测物体，而无需手工注释边界框。这不仅加快了处理速度，还减少了手工注释的需求，使其对人类更具吸引力和乐趣。 如何使用OWLv2？ OWLv2遵循与OWL-ViT类似的方法，但使用了更新的图像处理器Owlv2ImageProcessor。此外，该模型依赖于CLIPTokenizer对文本进行编码。Owlv2Processor是一个方便的工具，结合了Owlv2ImageProcessor和CLIPTokenizer，简化了文本编码过程。以下是使用Owlv2Processor和Owlv2ForObjectDetection进行对象检测的示例。 在此处找到完整的代码：https://github.com/inuwamobarak/OWLv2 步骤1：设置环境…
Leave a Comment介绍 刑事科学中的生成式人工智能（Generative AI）涉及将人工智能技术应用于生成数据、图像或其他与法庭证据相关的信息。这项技术有潜力通过帮助调查人员进行图像和视频分析、文档伪造检测、现场重建等任务来彻底改变刑事科学。长期以来，刑事科学依靠对物证的细致检查来解决犯罪问题。然而，随着技术的快速发展，该领域已经开始采用人工智能（AI），尤其是生成式人工智能，以增强其能力。在本文中，我们将探讨生成式人工智能在刑事科学中的实际应用，并提供一些应用的代码实现。 https://www.analyticsinsight.net/wp-content/uploads/2021/08/AI-in-Forensic-Investigation-and-Crime-Detection.jpg 学习目标 了解生成式人工智能（包括生成对抗网络（GANs）和孪生网络）在刑事科学中的实际应用场景。 学习如何实现图像重建、指纹识别和文档伪造检测等关键生成式人工智能算法。 了解在刑事调查中使用人工智能的伦理考虑，包括数据隐私和公平性问题。 本文作为数据科学博客马拉松的一部分发表。 利用生成式人工智能增强图像重建 利用生成式人工智能增强图像重建已成为刑事科学中的一项突破性进展，为图像分析和证据解释提供了一种革新性的方法。在这一领域的研究论文中，生成式对抗网络（GANs）和其他生成式人工智能技术的巨大潜力得到了突出展示。这些创新技术使得刑事调查人员能够重建和增强来自各种来源的图像，包括监控摄像头、低分辨率照片或像素化图像，在犯罪调查中提供了宝贵的支持。 生成式人工智能，特别是GANs，利用由生成器和判别器组成的双网络架构生成逼真、高质量的图像。通过对多样化图像数据集进行训练，GANs学习理解视觉数据中的模式、纹理和结构。在刑事科学中，这项技术使专家们能够从模糊、碎片化或不完整的图像中揭示关键细节。此外，GANs已被用于人脸识别和合成素描生成，帮助执法机构更准确地识别潜在嫌疑人。重建犯罪现场和生成缺失证据也彻底改变了调查过程，实现了更全面和数据驱动的分析。随着利用生成式人工智能增强图像重建的研究不断推进，解决复杂刑事案件和确保正义的潜力变得越来越有希望，巩固了其在现代刑事科学中的转型力量。 https://aihubprojects.com/forensic-sketch-to-image-generator-using-gan/ 使用GANs进行图像超分辨率 import tensorflow as tf from tensorflow.keras.models import Sequential from tensorflow.keras.layers import…
Leave a Comment介绍 农业一直是人类文明的基石，为全球数十亿人提供食物和生计。随着科技的进步，我们发现了增强农业实践的新颖方法。其中一项进展是使用视觉转换器（ViTs）来对作物的叶病进行分类。在本博客中，我们将探讨视觉转换器在农业中的革命性，通过提供一种高效准确的解决方案来识别和缓解作物病害。 木薯，又称木薯或椰菜，是一种多用途的作物，可用于提供日常主食和工业应用。它的耐寒能力和抗逆性使其成为在环境条件艰苦的地区必不可少的作物。然而，木薯植株容易受到各种病害的侵袭，其中CMD和CBSD是最具破坏性的病害之一。 CMD是由白蝗传播的病毒复合体引起的，导致木薯叶片出现严重的驳斑症状。而CBSD则是由两种相关病毒引起的，主要影响储存根，使其无法食用。及早识别这些病害对于防止作物大面积损害和确保粮食安全至关重要。视觉转换器是转换器架构的进化版本，最初设计用于自然语言处理（NLP），在处理视觉数据方面表现出高度有效性。这些模型将图像作为补丁的序列进行处理，使用自注意机制来捕捉数据中的复杂模式和关系。在木薯叶病分类的背景下，ViTs通过分析感染木薯叶子的图像来训练以识别CMD和CBSD。 学习成果 了解视觉转换器及其在农业中的应用，特别是叶病分类方面。 了解转换器架构的基本概念，包括自注意机制，以及如何将其适应于视觉数据处理。 了解视觉转换器（ViTs）在农业中的创新应用，特别是对木薯叶病早期检测的应用。 深入了解视觉转换器的优势，如可扩展性和全局上下文，以及它们面临的挑战，包括计算要求和数据效率。 本文是作为“数据科学博文马拉松”的一部分发表的。 视觉转换器的崛起 近年来，由于卷积神经网络（CNNs）的发展，计算机视觉取得了巨大的进步。CNNs一直是各种与图像相关的任务的首选架构，从图像分类到目标检测。然而，视觉转换器作为一种强大的替代方案崭露头角，提供了一种新颖的处理视觉信息的方法。Google Research的研究人员在2020年发布了一篇具有开创性的论文，题为“图像价值16×16个单词：大规模图像识别的转换器”。他们将最初设计用于自然语言处理（NLP）的转换器架构应用于计算机视觉领域。这种适应为该领域带来了新的可能性和挑战。 使用ViTs相对于传统方法具有几个优势，包括： 高准确性：ViTs在准确性方面表现出色，可以可靠地检测和区分叶病。 高效性：经过训练后，ViTs可以快速处理图像，适用于实时病害检测。 可扩展性：ViTs可以处理不同大小的数据集，适应不同的农业环境。 泛化能力：ViTs可以泛化到不同的木薯品种和病害类型，减少针对每种情况的特定模型的需求。 转换器架构简介 在深入了解视觉转换器之前，了解转换器架构的核心概念是至关重要的。转换器最初为NLP而设计，革新了语言处理任务。转换器的关键特点是自注意机制和并行化，可以更全面地理解上下文并加快训练速度。 转换器的核心是自注意机制，它使模型在进行预测时可以权衡不同输入元素的重要性。这种机制与多头注意力层结合使用，可以捕捉数据中的复杂关系。 那么，视觉转换器如何将转换器架构应用于计算机视觉领域呢？视觉转换器的基本思想是将图像视为补丁的序列，就像NLP任务将文本视为单词的序列一样。然后，转换器层通过将图像中的每个补丁嵌入向量来处理它。 Vision Transformer的关键组件 图像切片嵌入：将图像分为固定大小的非重叠切片，通常为16×16像素。然后将每个切片线性嵌入到较低维度的向量中。…
Leave a Comment介绍 您是否曾经处理过非结构化数据，并考虑过一种方式来检测文档中表格的存在？以帮助您快速处理您的文档？在本文中，我们将不仅了解如何检测表格的存在，还将通过使用Transformer模型来识别这些表格的结构。这将由两个不同的模型实现。一个用于文档中的表格检测，另一个用于结构识别，可以识别表格中的行和列。 学习目标 如何在图像中检测表格的行和列？ Table Transformers和Detection Transformer（DETR）的介绍 PubTables-1M数据集概述 如何使用Table Transformer进行推理 文档、文章和PDF文件是有价值的信息来源，通常包含传递关键数据的表格。从这些表格中高效提取信息可能会面临不同格式和表示之间的挑战。手动复制或重新创建这些表格可能耗时且繁琐。在PubTables-1M数据集上训练的Table Transformers解决了表格检测、结构识别和功能分析的问题。 本文是Data Science Blogathon的一部分。 如何实现的？ 这是通过一种名为Table Transformer的Transformer模型实现的。它使用了一个名为PubTables-1M的大型注释数据集，可以检测文章中的文档或图像。该数据集包含约一百万个参数，并采用了一些措施来给模型带来最新的感觉。通过解决不完美注释、空间对齐问题和表格结构一致性等挑战，实现了高效性。与该模型一起发布的研究论文利用了Detection Transformer（DETR）模型，用于联合建模表格结构识别（TSR）和功能分析（FA）。因此，DETR模型是Table Transformer运行的骨干，由微软研究开发。让我们更详细地了解一下DETR。 DEtection TRansformer（DETR） 如前所述，DETR是DEtection TRansformer的缩写，包括使用编码器-解码器Transformer的卷积骨干，例如ResNet架构。这使得它有潜力进行目标检测任务。DETR提供了一种不需要复杂模型（如Faster R-CNN和Mask…
Leave a Comment最近的一项研究揭示了关于人工智能（AI）的一个令人不安的真相：用于检测论文、求职申请和其他形式工作的算法可能会无意中对非母语英语人士进行歧视。这种偏见的影响广泛，影响到学生、学者和求职者。由斯坦福大学生物医学数据科学助理教授詹姆斯·邹领导的这项研究揭示了AI文本检测器造成的令人震惊的差距。随着像ChatGPT这样的生成式AI程序的崛起，审查这些检测系统的准确性和公平性变得至关重要。 还阅读：No More Cheating! Sapia.ai实时捕捉AI生成的答案！ AI文本检测器的意外后果 在学术诚信至关重要的时代，许多教育工作者认为AI检测是对抗现代作弊形式的重要工具。然而，该研究警告称，这些检测系统经常宣传的99%准确率是误导性的。研究人员敦促对AI检测器进行更仔细的检查，以防止对非母语英语人士的无意识歧视。 还阅读：Massive Stack Exchange Network因AI生成内容标记而罢工 测试揭示对非母语英语人士的歧视 为了评估流行的AI文本检测器的性能，邹和他的团队进行了一项严格的实验。他们提交了由非母语人士撰写的91篇英语作文，供七个知名的GPT检测器评估。结果令人震惊。超过一半的为托福（TOEFL）设计的作文被错误地标记为AI生成的。一个程序竟然将98%的作文分类为机器生成的。与之形成鲜明对比的是，当美国的母语英语八年级学生撰写的作文接受相同评估时，检测器正确地将超过90%的作文识别为人类撰写。 欺骗性的宣称：99%准确性的神话 研究中观察到的歧视结果源于AI检测器如何评估人类和AI生成文本之间的区别。这些程序依赖一种称为“文本困惑度”的指标，来衡量语言模型在预测句子中下一个单词时变得多么惊讶或困惑。然而，这种方法会对非母语人士产生偏见，因为他们通常使用更简单的词汇选择和熟悉的模式。像ChatGPT这样的大型语言模型，被训练成产生低困惑度的文本，无意中增加了将非母语英语人士错误地识别为AI生成的风险。 还阅读：AI-Detector将美国宪法标记为AI生成的 改写叙述：一个矛盾的解决方案 鉴于AI检测器的固有偏见，研究人员决定进一步测试ChatGPT的能力。他们要求该程序重写托福作文，运用更复杂的语言。令人惊讶的是，当这些修改后的作文接受AI检测器评估时，它们都被正确标记为人类撰写。这个矛盾的发现表明，非母语作者可能更广泛地使用生成式AI来规避检测。 还阅读：好莱坞作家罢工反对AI工具，称其为“剽窃机器” 对非母语作者的深远影响 该研究的作者强调了AI检测器对非母语作者造成的严重后果。大学和工作申请可能会被错误地标记为AI生成的，从而在在线上边缘化非母语讲者。像谷歌这样降低AI生成内容排名的搜索引擎进一步加剧了这个问题。在教育领域，GPT检测器应用最广泛，非母语学生面临更大的被错误指控作弊的风险。这对他们的学术生涯和心理健康是有害的。 还阅读：欧盟呼吁采取措施识别深度伪造和AI内容 超越AI：培养道德生成式AI的使用 塞浦路斯开放大学算法透明度研究中心的贾娜·奥特巴赫建议采取不同的方法来应对AI的潜在陷阱。她主张不仅仅依靠AI来应对与AI相关的问题，而是倡导一种培养道德和创造性利用生成式AI的学术文化。奥特巴赫强调，随着ChatGPT在基于公共数据的学习和适应，它最终可能会超过任何检测系统。 还阅读：OpenAI引入超级对齐：为安全和对齐的AI铺平道路…
Leave a Comment在充满活力的电子商务世界中，时尚行业就像是一个独立的T台但如果我们能够用深度学习的精确性来解读这个T台的着装规范，而不是凭借设计师的眼光，会怎样呢？
Leave a Comment当野火肆虐加利福尼亚州，把天空变成橙色，并留下毁灭性的后果时，一家开创性的初创公司挺身而出，与野火抗争。总部位于硅谷的计算机视觉领导者Chooch，结合了人工智能（AI）和计算机视觉的力量，彻底改变了野火检测方式。通过利用其创新技术，Chooch成功地向消防员提供了实时警报，使消防员能够更快地做出反应，防止进一步的损失。在本文中，我们将探讨Chooch的AI驱动解决方案如何改变野火检测并拯救生命。 个人使命：对抗野火 当加利福尼亚遭受灾难性的2020年野火时，Chooch的CEO Emrah Gultekin感到了个人的呼唤去帮助。与消防官员合作，他们发现现有的野火检测系统存在许多错误的阳性，这些阳性是由雾、雨和镜头污迹等因素引起的。Chooch决心要做出改变，便开始了一个试点项目，将其火灾检测软件与摄像头网络集成，利用AI和计算机视觉的力量。 生成式AI的力量：减少假阳性 Chooch的CTO Hakan Gultekin及其团队设计了一种解决方案来对抗假阳性。他们开发了一种生成式AI工具，可以自动为每个图像创建描述，帮助审查员准确识别烟雾的存在。结果，假阳性数量大大减少，从每周惊人的2000个减少到只有8个。这项突破性技术引起了消防队长的兴趣，他们迫不及待地希望将其集成到他们的监测中心中。 实时警报：赋予加利福尼亚州Kern县的消防员权力 Chooch的生成式AI工具为加利福尼亚州Kern县的消防队员提供了一个实时仪表板，可以通过智能手机和PC访问。这个仪表板提供即时警报，使消防员能够迅速检测出野火。考虑到加利福尼亚在2020年发生了9900起野火，烧毁了430万英亩，并造成了190亿美元的损失，即使及时检测出一场火灾，这个野火检测系统的成本也可以为未来的50年所证明。 充满希望的未来：扩展AI应用 Emrah Gultekin展望AI和计算机视觉的更加强大和准确的未来。通过将大型语言模型与计算机视觉相结合，Chooch旨在开发有效且易于部署的产品。例如，公用事业公司可以利用软件与无人机和固定摄像头连接，实现对电容器腐蚀或植被侵占电线的检测。Chooch的技术将通过参加1100万美元的Xprize挑战赛来获得进一步的验证，该挑战赛专注于野火检测和响应，有PG&E和洛克希德·马丁等知名赞助商。 成功之路：合作与尖端技术 Chooch开创野火检测革命的旅程始于他们加入了NVIDIA Inception，这是一个旨在培育尖端初创企业的计划。与NVIDIA合作，Chooch成功将其代码移植到NVIDIA GPU上，使其产品能够在NVIDIA Jetson模块上运行。该技术经过了广泛的测试，包括全运动视频和多光谱数据，展示了其在实际场景中的强大性和有效性。 我们的看法 Chooch将AI和计算机视觉技术融合，成为野火检测领域的变革者。这种创新解决方案显著减少了假阳性，提供了实时警报，并赋予了消防员权力。因此，它有潜力拯救生命，保护宝贵的资源并减轻野火的破坏性影响。随着Chooch不断完善其技术并扩展其应用，未来充满希望。我们尚未看到AI在对抗野火和其他我们作为社会所面临的重要挑战中的全部潜力。
Leave a Comment