介绍 在生成式人工智能领域，最近出现了激增和突破，引起了数据领域的混乱。公司们正在努力看如何充分利用这些创新，例如ChatGPT。这将帮助任何企业获得竞争优势。一种全新的前沿创新是将一种名为“PandasAI”的GenAI驱动的数据分析库引入到常规Pandas库中。OpenAI已经做到了这一点。与生成式AI的其他领域不同，PandasAI将GenAI技术应用于分析工具Pandas。 顾名思义，它直接将人工智能应用于传统的Pandas库。Pandas库在数据领域中与Python一起在预处理和数据可视化等任务中变得非常流行，而这种创新使其变得更好。 学习目标 了解新的PandasAI 使用PandasAI进行对话查询 使用PandasAI绘制图表 介绍PandasAI及其后端（GenAI） 本文是数据科学博文马拉松的一部分。 PandasAI是什么？ PandasAI是一个使用生成式AI模型在pandas中执行任务的Python库。它是一个集成生成式人工智能功能的库，使用提示工程使Pandas数据框具有对话功能。当我们提到Pandas时，我们会想到数据分析和处理。通过PandasAI，我们试图通过GenAI的帮助提高我们的Pandas的生产力。 为什么使用PandasAI？ 在生成式人工智能的帮助下，我们都需要给数据集提供对话提示。这带来了不需要学习或理解复杂代码的优势。数据科学家可以通过与数据集对话的方式查询数据集，使用自然的人类语言并获得结果。这样可以节省预处理和分析的时间。这是一个新的革命，程序员不需要编写代码，他们只需要说出他们的想法，然后看到他们的指令被执行。即使非技术人员也可以构建系统，而无需编写任何复杂的代码！ PandasAI如何工作？ 在我们看到如何使用PandasAI之前，让我们先看看它是如何工作的。我们在这里多次提到了“生成式人工智能”的术语。它作为实现PandasAI的技术。生成式人工智能（GenAI）是人工智能的一个子集，可以生成各种数据类型，包括文本、音频、视频、图片和3D模型。它通过识别已收集的数据中的模式并利用它们来创建新颖和独特的输出来实现这一目标。 另一个需要注意的是使用大型语言模型（LLMs）。PandasAI已经在LLMs上进行了训练，LLMs是由许多参数（数以千万甚至数十亿）组成的人工神经网络（ANN）模型。所有这些都有助于PandasAI背后的模型能够接受人类指令并在解释之前对其进行标记化处理。PandasAI还被设计用于处理LangChain模型，使构建LLM应用程序更加容易。 开始使用Pandas AI 现在让我们看看如何使用PandasAI。我们将看到两种使用PandasAI的方法。首先是使用LangChain模型，然后是直接实现。 使用LangChain模型 要使用LangChain模型，首先需要安装Langchain包： pip install langchain 然后我们可以实例化一个LangChain对象：…
Leave a CommentTag: blogathon
介绍 随着人工智能（AI）的不断发展，对更快、更高效的计算能力的需求也在增加。机器学习（ML）模型可能需要很大的计算量，并且训练模型可能需要更长的时间。然而，通过使用GPU并行处理能力，可以显著加快训练过程。数据科学家可以更快地迭代，尝试更多的模型，并在更短的时间内构建性能更好的模型。 有几个可供使用的库。今天我们将学习RAPIDS，这是一个简单的解决方案，可以在不需要任何GPU编程知识的情况下使用GPU加速机器学习模型。 学习目标 在本文中，我们将学习： RAPIDS.ai的高级概述 RAPIDS.ai中的库 使用这些库 安装和系统要求 本文是Data Science Blogathon的一部分。 RAPIDS.AI RAPIDS是一套开源软件库和API，用于完全在GPU上执行数据科学流程。RAPIDS提供了出色的性能和速度，使用了与最流行的PyData库相匹配的熟悉的API。它是基于NVIDIA CUDA和Apache Arrow开发的，这是其卓越性能的原因。 RAPIDS.AI如何工作？ RAPIDS使用GPU加速机器学习来加快数据科学和分析工作流程。它具有经过优化的GPU核心数据框架，有助于构建数据库和机器学习应用程序，并且设计与Python类似。RAPIDS提供了一套完全在GPU上运行数据科学流程的库。它于2017年由GPU Open Analytics Initiative（GoAI）和机器学习社区的合作伙伴创建，旨在使用基于Apache Arrow的GPU Dataframe加速端到端数据科学和分析流程。RAPIDS还包括与机器学习算法集成的Dataframe API。 更快的数据访问，更少的数据移动…
Leave a Comment介绍 NLP（自然语言处理）可以帮助我们理解大量的文本数据。不需要手动阅读大量文档，我们可以利用这些技术加快理解速度，快速获得主要信息。在这篇博文中，我们将深入探讨如何使用Python中的pandas数据框和NLP工具，通过使用Elicit，对在阿富汗进行性别平等研究时人们的写作内容有一个了解。这些见解可能有助于我们理解在过去几十年中，在一个被认为是对女性或女孩来说最困难的地方之一的国家，为促进性别平等所做的工作和未能取得的成果（世界经济论坛，2023年）。 学习目标 掌握处理CSV文件中的文本分析。 了解如何在Python中进行自然语言处理。 开发有效数据可视化的沟通技巧。 深入了解阿富汗性别平等研究的演变。 本文是数据科学博文马拉松的一部分。 使用Elicit进行文献综述 为了生成底层数据，我使用了Elicit，一款用于文献综述的AI工具（Elicit）。我让这个工具生成与问题“为什么阿富汗的性别平等失败了？”相关的论文列表。然后，我以CSV格式下载了结果列表（我考虑了150多篇论文的随机数量）。这些数据是什么样的？让我们来看一看！ 在Python中分析来自Elicit的CSV数据 我们首先将CSV文件读入pandas数据框中： import pandas as pd #识别路径和CSV文件 file_path = ‘./elicit.csv’ #读入CSV文件 df = pd.read_csv(file_path) #CSV的形状…
Leave a Comment介绍 曼-肯德尔趋势检验，以H.A.曼和D.R.肯德尔命名，是一种非参数检验方法，用于确定趋势是否随时间显著变化。趋势可以是随时间单调增加或单调减少的。由于这是一种非参数检验方法，所以我们不必担心数据的分布。但是数据不应该具有串联相关性/自相关性（时间序列中的误差项从一个时期转移到另一个时期）。 曼-肯德尔检验旨在检测单调趋势，即随时间持续增加或减少的趋势，而不假设数据的特定分布。当处理可能不满足参数检验（如正态性）假设的数据时，它特别有用。 本文是数据科学博客马拉松的一部分。 样本量要求 如果你有非常小的样本，比如3或4个，那么很有可能找不到任何趋势。随着时间的推移，我们拥有的样本越多，测试统计量的可靠性就越高。尽管测试也可以针对非常小的样本进行，但建议的数据量至少为10。 测试目标 在本文中，我们研究了火车出轨事故随时间的相关情况。奥迪沙最近的火车出轨事故再次对铁路安全提出了质疑。铁路事故可以按照事故类型进行分类（例如正面碰撞、尾部碰撞、爆炸、侧面碰撞、出轨、火灾等）。随着时间的推移，铁路在技术和基础设施方面有了许多改进。尽管现代化的进展已经到位，但世界各地的火车事故仍然很常见。火车事故是全球铁路系统中发生的不幸事件。这些事故可能导致生命损失、伤害和财产损失。 在本研究中，我们将确定在印度，随着这些年所做的各种进步，我们是否能够减少火车事故（我们将研究事故类别中的出轨事故）。我们获得的有关印度出轨事故的数据是时间序列数据。我们拥有从2001年到2016年的出轨数据。数据按时间顺序排列。 我们的数据 从上表中，我们可以清楚地看到数据呈下降趋势。自2001年以来，出轨事故的数量大大减少。在2001年，我们有350起与出轨相关的事故，而在2016年减少到65起。由于数据是按顺序排列的，我们可以直接将其输入到Python环境中并进行处理。让我们在Python中绘制一个图来正确地可视化数据。 !pip install seaborn import seaborn as sns import matplotlib.pyplot as plt fig = plt.subplots(figsize=(20,…
Leave a Comment介绍 大型语言模型席卷全球。随着ChatGPT、GPT3、Bard和其他大型语言模型的出现，开发人员不断使用这些模型来创建新的产品解决方案。每一天都会有一个新的大型语言模型或现有LLM的新版本。跟上这些新版本或新模型可能会有问题，因为人们必须阅读每个大型语言模型的文档。LangChain是一个包装所有不同LLM的库，使事情变得更容易。此外，基于LangChain的UI——LangFlow也被引入，可以直接与之交互和创建应用程序，使事情变得更好。 学习目标 了解LangFlow UI 安装和使用LangFlow 了解LangFlow的内部工作原理 使用LangFlow创建应用程序 通过LangFlow共享创建的应用程序 本文是Data Science Blogathon的一部分。 什么是LangFlow和为什么使用LangFlow？ LangFlow是一个基于Python包LangChain和react-flow设计的图形用户界面（UI）。LangChain是一个用于创建大型语言模型应用程序的Python包。它由不同的组件组成，如代理、LLMs、链、内存和提示。开发人员将这些模块链在一起以创建应用程序。LangChain包含几乎所有流行的大型语言模型的包装器。现在，要使用LangChain，必须编写代码来创建应用程序。编写代码有时可能耗时甚至容易出错。 这就是LangFlow的作用。它是基于LangChain的图形用户界面（UI）。它包含LangChain中的所有组件。LangFlow提供了拖放功能，您可以将组件拖放到屏幕上并开始从大型语言模型构建应用程序。它甚至包含了丰富的示例供每个人开始使用。在本文中，我们将介绍这个UI，并看看如何使用它构建应用程序。 让我们从LangFlow开始 现在，我们已经了解了LangFlow是什么，以及它的作用，让我们深入了解其功能，以更好地理解其功能。LangFlow UI适用于JavaScript和Python。您可以选择其中一种并开始使用。对于Python版本，需要在系统中安装Python和LangChain库。 如果您想使用LangFlow，您需要安装以下软件包 pip install langchain pip install langflow…
Leave a Comment介绍 你是否曾经想过与视频聊天有多么好？作为一个博客作者，我经常觉得看一个长达一小时的视频来获取相关信息很无聊。有时候，看一个视频以获取任何有用的信息感觉像是一份工作。所以，我构建了一个聊天机器人，让你可以与 YouTube 视频或任何视频进行聊天。这得益于 GPT-3.5-turbo、Langchain、ChromaDB、Whisper 和 Gradio。因此，在本文中，我将介绍如何使用 Langchain 构建一个功能强大的聊天机器人，用于与 YouTube 视频交互。 学习目标 使用 Gradio 构建 Web 界面 使用 Whisper 处理 YouTube 视频并提取文本数据 适当处理和格式化文本 创建文本数据的嵌入 配置…
Leave a Comment介绍 注意力模型，也称为注意机制，是神经网络中使用的输入处理技术。它们使网络能够分别关注复杂输入的不同方面，直到整个数据集被分类。其目的是将复杂任务分解为小的关注区域，逐步处理。这种方法类似于人类思维如何通过将问题分解为简单任务并逐步解决它们来解决新问题的方式。注意力模型能够更好地适应特定任务，优化其性能，并提高其关注相关信息的能力。 NLP中的注意机制是深度学习在过去十年中最有价值的发展之一。Transformer架构和自然语言处理（NLP）（例如Google的BERT）已经导致了最近的进展。 学习目标 了解深度学习中注意机制的必要性、工作原理及其如何提高模型性能。 了解注意机制的类型和使用示例。 探索应用程序以及使用注意机制的优缺点。 通过按照注意力实现示例来获得实践经验。 本文是Data Science Blogathon的一部分。 何时使用注意力框架？ 注意力框架最初是用于增强编码器-解码器型神经机器翻译系统和计算机视觉性能的。传统机器翻译系统依赖于大型数据集和复杂的功能来处理翻译，而注意力机制简化了这一过程。注意力机制不是逐个单词翻译，而是分配固定长度的向量来捕捉输入的总体含义和情感，从而实现更准确的翻译。注意力框架在处理编码器-解码器翻译模型的限制时特别有用。它能够精确对齐和翻译输入短语和句子。 与将整个输入序列编码为单个固定内容向量不同，注意力机制为每个输出生成一个上下文向量，从而实现更高效的翻译。需要注意的是，虽然注意力机制提高了翻译的准确性，但它们可能并不总能达到语言完美。然而，它们能够有效地捕捉原始输入的意图和一般情感。总之，注意力框架是克服传统机器翻译模型的限制，实现更准确和具有上下文感知的翻译的有价值工具。 注意力模型如何运作？ 从广义上讲，注意力模型利用一个函数将查询和一组键值对映射为生成输出。这些元素，包括查询、键、值和最终输出，都表示为向量。通过加权求和值来计算输出，权重由一个兼容性函数确定，该函数评估查询和相应键之间的相似性。 在实际应用中，注意力模型使神经网络能够近似于人类使用的视觉注意机制。类似于人类如何处理新场景，该模型强烈关注图像中的特定点，提供“高分辨率”理解，同时以较少的细节感知周围区域，类似于“低分辨率”。随着网络对场景的理解越来越好，它会相应地调整焦点。 使用NumPy和SciPy实现通用注意力机制 在本节中，我们将研究利用Python库NumPy和SciPy实现通用注意力机制的实现。 首先，我们定义一个四个单词序列的单词嵌入。为了简单起见，我们将手动定义单词嵌入，尽管在实践中，它们将由编码器生成。 import numpy as np #…
Leave a Comment介绍 使用预训练的ViT模型进行图像描述可以看作是一种文本或书面描述，位于图像下方，旨在提供对图像细节的描述。它是将图像转换为文本描述的任务。通过连接视觉（图像）和语言（文本）来完成。在本文中，我们使用PyTorch后端，使用视觉变换器（ViT）作为主要技术，在图像中实现了这一目标。目标是展示一种使用转换器，特别是ViTs，利用经过训练的模型生成图像标题的方法，而无需从头开始重新训练。 来源：Springer 随着社交媒体平台和在线图片使用的当前趋势，掌握这种技能的好处很多，可以出于多种原因进行描述、引用、帮助视力受损者，甚至是搜索引擎优化。这使得学习这种技术对涉及图像的项目非常有用。 学习目标 图像描述的概念 使用ViTs进行图像捕捉 使用预训练模型进行图像描述 使用Python利用转换器 您可以在此GitHub仓库中找到使用的全部代码。 本文是数据科学博客马拉松的一部分。 什么是Transformer模型？ 在我们研究ViT之前，让我们先了解一下Transformer。自从Google Brain于2017年引入transformers以来，它引起了人们对其在NLP方面的能力的兴趣。Transformer是一种深度学习模型，其特点是采用自我关注，不同地加权输入数据的每个部分的重要性。并且主要用于自然语言处理（NLP）领域。 Transformer处理序列输入数据，例如自然语言，但transformer一次处理整个输入。借助注意机制，任何输入序列的位置都有上下文。这种效率允许更多的并行化，减少训练时间，同时提高效率。 Transformer体系结构 现在让我们看一下transformers的体系结构组成。Transformer体系结构主要由编码器-解码器结构组成。Transformer体系结构的编码器-解码器结构在一篇著名的论文中被提出，标题为“Attention Is All You Need”。 编码器由层组成，负责逐层处理输入，而解码器层接收编码器输出并生成解码输出。简单地说，编码器将输入序列映射到序列，然后将其馈送到解码器。解码器然后生成一个输出序列。 什么是Vision Transformers？ 由于本文展示了ViTs在图像描述中的实际用途，因此也有必要了解ViTs的工作原理。Vision…
Leave a Comment介绍 AutoML（自动机器学习）也被称为自动化机器学习。在2018年，谷歌推出了云端 AutoML，引起了很大的关注，是机器学习和人工智能领域最重要的工具之一。在本文中，您将学习使用谷歌云端 AutoML 构建机器学习模型的“无代码”解决方案。 AutoML 是 Google 云平台 Vertex AI 的一部分。Vertex AI 是云端构建和创建机器学习管道的端到端解决方案。但是，我们将在未来的文章中讨论 Vertex AI 的细节。AutoML 主要依赖于迁移学习和神经搜索架构。您只需要提供数据，之后 AutoML 将为您的用例构建一个最佳的自定义模型。 在本文中，我们将讨论使用 Python 代码在 Google 云平台上实现…
Leave a Comment介绍 数据的时间序列分析不仅仅是一堆数字，比如Netflix的股票。它是一张迷人的织锦，用Pandas编织着我们的世界的错综复杂的故事。就像一根神秘的线，它捕捉了事件的涨落、趋势的兴衰以及模式的出现。它揭示了隐藏的联系和相关性，塑造了我们过去的形象，并提供了对未来的一瞥。 时间序列分析不仅仅是一种工具。它是通往知识和远见的门户。您将有能力解锁隐藏在数据时间织物中的秘密，将原始信息转化为有价值的见解。此外，它还能帮助您做出明智的决策，减轻风险并利用新兴机会。 让我们一起踏上这个激动人心的冒险之旅，发现时间真正是理解我们的世界的关键。您准备好了吗？让我们一起潜入时间序列分析的迷人领域吧！ 学习目标 我们的目标是介绍时间序列分析的概念，强调其在各个领域的重要性，并展示展示实际应用时间序列分析的真实世界示例。 我们将通过展示如何使用Python和yfinance库导入Netflix股票数据来提供实际演示。这样读者将学习获取时间序列数据并为分析做准备的必要步骤。 最后，我们将重点介绍时间序列分析中使用的重要Pandas函数，例如移位、滚动和重新采样，这些函数能够有效地操作和分析时间序列数据。 本文是数据科学博客马拉松的一部分。 什么是时间序列分析？ 时间序列是在连续、等间隔的时间间隔内收集或记录的数据点序列。 时间序列分析是一种用于分析随时间收集的数据点的统计技术。 它涉及研究顺序数据中的模式、趋势和依赖关系，以提取见解并进行预测。 它涉及数据可视化、统计建模和预测方法等技术，以有效地分析和解释时间序列数据。 时间序列数据的例子 股票市场数据：分析历史股价以识别趋势和预测未来价格。 天气数据：研究温度、降水和其他变量随时间的变化，以了解气候模式。 经济指标：分析GDP、通货膨胀率和失业率等，以评估经济表现。 销售数据：检查销售数据随时间的变化，以确定模式并预测未来销售额。 网站流量：分析网站流量指标，以了解用户行为并优化网站性能。 时间序列的组成部分 时间序列有4个组成部分。它们是： 趋势组成部分：趋势代表数据中的长期模式，以相对可预测的方式向上或向下移动。 季节性组成部分：季节性是一种定期重复的模式，例如每日、每周、每月或每季度。 周期性组成部分：周期性组成部分对应于遵循商业或经济周期的模式，其特点是增长和衰退的交替时期。…
Leave a Comment介绍 深入了解Transformer模型的好方法是学习注意机制。在这方面，特别是在学习其他类型的注意机制之前学习多头注意力也是一个不错的选择。这是因为这个概念往往比较容易理解。 注意机制可以被视为可以添加到常规深度学习模型中的神经网络层。其目的是使模型专注于使用分配的权重来关注输入的特定部分，从而权衡它们的价值。我们将进一步详细了解注意机制，使用多头注意力机制。 学习目标 注意机制的概念 多头注意力的含义 Transformer中多头注意力的架构 其他类型的注意机制简介 本文是数据科学博客马拉松的一部分。 了解注意机制 我们可以从人类心理学的角度开始看这个概念。在心理学中，注意力是集中意识在某些事件上，以便排除其他刺激的影响。这意味着即使有其他干扰，我们仍然会专注于我们选择的事物。注意力有选择地集中在整体的一个离散部分。 这个概念是Transformer中使用的。它们能够集中精力关注其输入的目标部分，并忽略其余部分。这可以使它们以非常有效的方式行动。 什么是多头注意力？ 多头注意力是Transformer中的一个中心机制，类似于ResNet50架构中的跳跃连接。有时需要关注序列中的多个其他点。使用找到整体平均值的方法将不会使权重分布，因此不会给予多样化的值作为权重，这就引出了创建多个独立的注意机制以形成多个注意力机制的扩展的想法。现在的实现在单个特征上呈现多个不同的查询-键-值三元组。 来源：Pngwing.com 计算是这样进行的，注意模块在多次迭代中执行，组织成称为注意头的并行层。每个独立的头独立处理输入序列和相关输出序列元素。每个头部的累积分数然后组合以获得最终的注意分数，其中包含输入序列的每个细节。 数学表达式 具体而言，如果我们有一个关键字和一个值矩阵，我们可以将值转换为ℎ个子查询，子关键字和子值，这些将独立地通过注意力传递。连接将给出一个头，并使用最终的权重矩阵将它们组合起来。 可学习的参数是分配给各个头部的注意力中的值，其中各种参数称为多头注意力层。下面的图示说明了这个过程。 让我们简要地看一下这些变量。其中X的值是单词嵌入矩阵的连接。 矩阵解释 查询：它是一个特征向量，提供有关序列中目标的洞察力。它在序列上提出请求，需要关注哪些部分。 关键字：这是描述元素中包含的内容的特征向量。它突出显示提供元素的身份，并通过查询提供注意力。 值：处理输入序列，每个输入元素使用一个值来知道提供平均值的内容。 评分函数：创建评分函数时，我们将查询和关键字指定为其输出的权重，称为查询-关键字对。…
Leave a Comment介绍 H1B签证计划为全球技术人才提供了进入美国的机会。每年，成千上万的才华横溢的专业人士通过该计划进入美国，为各个行业做出贡献，推动创新。让我们深入H1B签证数据的世界，了解外国劳工认证办公室（OFLC）提供的有趣信息和背后的故事。本文揭示了H1B签证数据分析的结果，我们从中获得了洞见和有趣的故事。通过特征工程，我们从外部来源增强了数据集的信息。通过精细的数据整理，我们仔细组织数据，以便更好地理解和分析数据。最后，数据可视化揭示了关于2014至2016年间美国熟练工人的有趣趋势和未被告知的见解。 探索并分析外国劳工认证办公室（OFLC）提供的H1B签证数据，并了解其在吸引熟练外国劳工来美国方面的重要性。 了解数据预处理的过程，包括数据清洗、特征工程和数据转换技术。 检查和分析H1B签证申请的接受和拒绝率，这可能会影响这些率。 熟悉数据可视化技术，以有效地呈现和传达发现结果。 注：🔗 您可以在Kaggle上找到这个分析的完整代码和数据集，以探索分析背后的整个过程：H1B Analysis on Kaggle 本文是数据科学博客马拉松的一部分。 什么是H1B签证？ H1B签证计划是美国移民政策的关键组成部分，旨在吸引高技能外籍工人填补各个行业的专业职位。它解决了技能短缺问题，促进了创新，推动了经济增长。 要获得H1B签证，必须按照以下关键步骤： 找到一家愿意为该外籍工人赞助签证的美国雇主。 雇主代表外籍工人向美国移民局（USCIS）提交H1B申请。 该申请受到年度配额的限制，如果申请数量超过可用名额，则可能通过抽签程序。 如果被选中，USCIS将审核申请的合格性和符合性。 如果获得批准，外籍工人可以获得H1B签证，并开始在美国为雇主工作。 该过程涉及满足特定要求，例如持有学士学位或同等学历，并处理其他考虑因素，例如最低工资确定和雇主-雇员关系的文件记录。遵守和准备充分对于成功的H1B签证申请至关重要。 数据集 外国劳工认证办公室（OFLC）提供的2014年、2015年和2016年组合数据集包括案件编号、案件状态、雇主名称、雇主城市、雇主州、职位名称、SOC代码、SOC名称、工资率、工资单位、最低工资、最低工资来源、年份等列。 这些列提供了关于H1B签证申请的基本信息，包括案件细节、雇主信息、职位名称、工资率和最低工资数据。 使用OFLC官方网站https://www.foreignlaborcert.doleta.gov/performancedata.cfm上提供的数据集和数据布局，以完全了解所有可用列及其描述。…
Leave a Comment介绍 想象一下，你在一个尘土飞扬的阁楼里发现了一本旧的家庭相册。你会立即清理灰尘，并充满兴奋地翻阅它的页面。你发现了一张很多年前的照片。但是，你看起来并不开心，因为这张照片已经模糊而且颜色已经褪色。你会竭尽全力去找到照片中的面孔和细节。这是在旧时代的场景。幸好，现在有了新技术。我们有超分辨率生成对抗网络（SRGAN），可以将低分辨率图像转换为高分辨率图像。在本文中，我们将学习最多关于SRGAN，并将其应用于QR码增强。 来源：Vecteezy 学习目标 在本文中，我们将学习： 超分辨率及其与普通缩放的区别 超分辨率的一些方法及其类型 深入了解SRGAN，它们的损失函数、架构和一些应用 使用SRGAN进行QR增强的实现以及详细描述 本文是数据科学博客马拉松的一部分。 什么是超分辨率？ 在许多犯罪调查电影中，我们经常遇到一个典型的情景，侦探会检查闭路电视录像以获取证据。有一幕场景，有人发现了一张小而模糊的图像，他们通过缩放和增强得到了清晰的图片。你觉得这可能吗？是的，我们可以通过超分辨率来做到这一点。超分辨率技术可以增强由闭路电视摄像机捕捉的模糊图像，从而为它们提供更详细的视觉效果。 ………………………………………………………………………………………………………………………………………………………….. ………………………………………………………………………………………………………………………………………………………….. 将图像进行放大和增强的过程称为超分辨率。它包括从相应的低分辨率输入生成图像或视频的高分辨率版本。其目标是恢复丢失的细节，提高清晰度并改善视觉质量。如果你只是放大图片而不进行增强，你会得到模糊的图片，如下图所示。增强是通过超分辨率实现的。它在许多领域中都有应用，包括摄影、监视系统、医学成像、卫星成像等。 ……….. 传统超分辨率方法 传统方法主要集中于估计缺失的像素值和提高图像分辨率。有两种方法：基于插值的方法和基于正则化的方法。 基于插值的方法 在超分辨率的早期阶段，他们主要关注基于插值的方法，其目标是估计缺失的像素值，然后将图像放大。假设相邻的像素值将具有相似的像素值，并使用这些值来估计缺失的值。最常用的插值方法包括双三次插值、双线性插值和最近邻插值。但是结果不尽如人意。这导致了模糊的图像。这些方法计算高效，适用于基本的分辨率任务和计算资源有限的情况。 基于正则化的方法 另一方面，基于正则化的方法旨在通过将额外的约束或先验引入到图像重建过程中来改善超分辨率结果。这些技术利用图像的统计特征来增加重建图像的精度，同时保留细节。它提供了更多对重建过程的控制，并增强了图像的清晰度和细节。但是，这里存在一些限制，如处理复杂图像内容会导致在某些情况下过度平滑。 尽管这些传统方法有一些限制，但它们为超分辨率强大的方法的出现铺平了道路。 来源：Rapid API…
Leave a Comment介绍 OpenAI的API由OpenAI开发，提供了今天最先进的语言模型之一。通过利用此API和使用LangChain＆LlamaIndex，开发人员可以将这些模型的强大功能集成到自己的应用程序、产品或服务中。只需几行代码，您就可以利用OpenAI的语言模型的广泛知识和能力，开启令人兴奋的可能性世界。 OpenAI的语言模型的核心在于大型语言模型或简称LLM。LLM可以生成类似于人类的文本并理解复杂语言结构的上下文。通过在大量多样化的数据上进行训练，LLM已经获得了一种非凡的能力，能够理解和生成各种主题的上下文相关文本。 学习目标 在本文中，我们将探讨以下令人兴奋的可能性： 使用OpenAI的API结合LangChain和LlamaIndex轻松从多个PDF文档中提取有价值的信息。 如何格式化提示以提取不同数据结构中的值。 如何使用GPTSimpleVectorIndex进行高效的搜索和检索文档。 本文是Data Science Blogathon的一部分。 LlamaIndex和LangChain 使用这两个开源库构建利用大型语言模型（LLMs）的应用程序。 LlamaIndex提供了LLMs和外部数据源之间的简单接口，而LangChain提供了构建和管理LLM驱动应用程序的框架。尽管LlamaIndex和LangChain仍在开发中，但它们仍具有革命性的潜力，可以改变我们构建应用程序的方式。 所需库 首先，让我们安装必要的库并导入它们。 !pip install llama-index==0.5.6 !pip install langchain==0.0.148 !pip install PyPDF2…
Leave a Comment介绍 简历解析是一个有价值的工具，用于简化和简化招聘过程，在忙碌的招聘经理和人力资源专业人员中已经变得必不可少。通过使用SpaCy的魔法自动化简历的初步筛选，简历解析器充当智能助手，利用先进的算法和自然语言处理技术提取关键细节，例如联系信息、教育历史、工作经验和技能。 这种结构化数据允许招聘人员高效地评估候选人，搜索特定的资格和将解析技术与申请人跟踪系统或招聘软件集成。通过节省时间，减少错误和促进明智的决策，简历解析技术改变了简历筛选过程并增强了整个招聘经验。 在这里查看Github Depository。 学习目标 在我们深入技术细节之前，让我们概述本指南的学习目标： 了解简历解析的概念及其在招聘过程中的重要性。 学习如何为使用SpaCy构建简历解析器设置开发环境。 探索从不同格式的简历中提取文本的技术。 实现从简历文本中提取联系信息（包括电话号码和电子邮件地址）的方法。 开发识别和提取简历中提到的相关技能的技能。 了解从简历中提取教育资格的知识。 利用SpaCy及其匹配器从简历文本中提取候选人的姓名。 将所学概念应用于解析样本简历并提取基本信息。 欣赏自动化简历解析过程对高效招聘的重要性。 现在，让我们深入了解指南的每个部分，并了解如何实现这些目标。 本文是作为Data Science Blogathon的一部分发表的。 什么是SpaCy？ SpaCy是Python中强大的自然语言处理（NLP）开源库，在简历解析的背景下是一个有价值的工具。它为命名实体识别（NER）和词性（POS）标注等任务提供了预训练模型，使其能够有效地从简历中提取和分类信息。通过其语言算法、基于规则的匹配能力和自定义选项，SpaCy因其速度、性能和易用性而脱颖而出。 通过利用SpaCy进行简历解析，招聘人员可以通过自动从简历中提取关键细节来节省时间和精力。该库的准确数据提取减少了人为错误，并确保了一致的结果，提高了候选人筛选过程的整体质量。此外，SpaCy的先进NLP能力可以进行复杂的分析，提供有价值的见解和上下文信息，帮助招聘人员做出明智的评估。 SpaCy的另一个优点是其与其他库和框架（如scikit-learn和TensorFlow）的无缝集成。这种集成开启了进一步自动化和高级分析的机会，允许应用机器学习算法和更广泛的数据处理。 总之，SpaCy是一个强大的NLP库，用于简历解析，因其从简历中有效提取和分析信息的能力而闻名。其预训练模型、语言算法和基于规则的匹配能力使其成为自动化候选人初步筛选的有价值工具，节省时间、减少错误并实现更深入的分析。…
Leave a Comment介绍 农作物产量预测是农业行业中必不可少的预测性分析技术。它是一种农业实践，可以帮助农民和农业企业预测特定季节的农作物产量，以便更好地种植和收获。预测性分析是农业行业中可用于农作物产量预测、风险缓解、降低肥料成本等方面的有力工具。使用机器学习和 Flask 部署的农作物产量预测将对天气条件、土壤质量、果实结数、果实质量等进行分析。 Unsplash 学习目标 我们将简要介绍使用授粉模拟建模来预测农作物产量的端到端项目。 我们将遵循数据科学项目生命周期的每个步骤，包括数据探索、预处理、建模、评估和部署。 最后，我们将使用 Flask API 在名为 render 的云服务平台上部署模型。 因此，让我们开始这个激动人心的实际问题声明。 本文是数据科学博客马拉松的一部分。 项目描述 用于此项目的数据集是使用空间显式模拟计算模型生成的，分析和研究影响野生蓝莓预测的各种因素，包括： 植物空间排列 异交和自交 蜜蜂物种组成 天气条件（单独和组合）对野生蓝莓的授粉效率和产量的影响。 该模拟模型已通过在过去30年中在美国缅因州和加拿大海岸收集的田野观察和实验数据进行验证，并现在是一个有用的工具，用于假设测试和野生蓝莓产量预测的估计。这个模拟数据为研究人员提供了从实地收集的实际数据，用于各种农作物产量预测实验，同时为开发人员和数据科学家提供了构建用于农作物产量预测的真实世界机器学习模型的数据。 模拟野生蓝莓田 什么是授粉模拟模型？…
Leave a Comment介绍 您知道性骚扰普遍性的不可避免事实是由于低报告率吗？如果受害者不报告他们经历的骚扰，那么当局如何指导人们避免受到骚扰，罪犯的行为如何改变？分类和定位各种形式的性骚扰案例研究有助于受害者以匿名方式表达自己的经历，并有助于分类受害者经历的各种类型的性骚扰，以便快速评估分类以进行证言文件的归档，并且这也有助于通过考虑已经提交的论坛的分析来提供安全预防措施。 这些安全预防措施通过提供已在该地区提交的大多数类型的性骚扰的普遍位置和罪犯的行为来为个人提供头绪。从上述预测中，个人将受益匪浅，因为它们提供见解并创造有关事件情况的意识。 学习目标 预测社会上各种骚扰的多标签分类 在数据集上使用自然语言处理技术 迭代传统的机器学习算法 实施卷积神经网络 本博客讨论了应用这些方法来解决与骚扰相关的问题 本文是数据科学博客马拉松的一部分。 业务问题 这里将受害者的故事分成三种性骚扰类型，即我们将其转换为多标签分类，因为受害者可能同时面临一种或多种性骚扰。 业务限制 由于我的案例研究是多标签分类，因此误分类不再是一个严格的对错。包含实际类别子集的预测应该被视为比不包含任何类别的预测更好，即正确预测三个标签中的两个比完全没有预测更好。我们没有任何严格的延迟问题。解释性非常重要，因为它有助于找到为什么将故事分类为一种骚扰类型。 数据集描述 数据收集自safecity在线论坛和WIN World Survey（WWS）市场研究和民意调查调查，用于收集性骚扰流行国家的数据。数据集包含两个特征。特征1-包含受害者的故事（说明），特征2包含事件发生的地理位置（位置）。 我们的类标签是多标签分类，其中包含受害者经历的三种性骚扰类型（评论、注视和触摸）。 性能度量 对于多标签分类，实例的预测是一组标签，因此，我们的预测可以完全正确、部分正确或完全不正确。这使得多标签分类器的评估比单标签分类器的评估更具挑战性。但是，对于部分正确性的评估，我们可以使用以下指标进行评估。 准确率-这里，一个实例的准确率被计算为预测正确标签与标签的总数（预测和实际）的比例。可以通过所有实例的平均值来获得整体准确性。 这些指标可以在各个类标签上计算，然后平均所有类别。这称为宏平均。或者，我们可以在所有实例和所有类标签上全局计算这些指标。这称为微平均。 我们使用宏F1分数和微F1分数作为多标签分类的指标。 汉明损失用作多标签分类的度量，该度量计算不正确预测的标签与标签的总数的比例。…
Leave a Comment介绍 领先的零售公司Target扩大了其在巴西的电子商务业务以迎合不断增长的在线购物趋势。为了在这个竞争激烈的市场上取得成功，Target必须了解巴西电子商务的动态，并利用数据驱动的洞见来提升其业务。本文将使用结构化查询语言(SQL)动力查询分析Target的电子商务数据集，为改善其在巴西的业务提供可行建议。 学习目标 通过分析Target的电子商务数据集，掌握SQL的熟练程度。 学习如何使用SQL查询对数据集进行初始探索，包括数据清洗和准备。 了解如何使用SQL查询分析和解释巴西的电子商务趋势。 发展识别和分析电子商务数据中季节性模式的技能。 通过SQL分析学习提取有关客户购买模式和偏好的有价值见解。 发展基于数据的建议能力，针对数据集的SQL分析提供可行的见解，以改善电子商务业务。 阅读更多: SQL for Data Science Beginners ! 本文是Data Science Blogathon的一部分。 数据集的初始探索 在深入分析之前，我们对Target的电子商务数据集进行了初始探索。这包括检查数据、清洗数据并为分析做好准备。我们使用以下SQL查询在BigQuery中验证了“客户”表的列数据类型： SELECT column_name, data_type FROM…
Leave a Comment