Press "Enter" to skip to content

Tag: Python

使用自然语言处理(NLP)和引导法探索性别平等的研究

介绍 NLP(自然语言处理)可以帮助我们理解大量的文本数据。不需要手动阅读大量文档,我们可以利用这些技术加快理解速度,快速获得主要信息。在这篇博文中,我们将深入探讨如何使用Python中的pandas数据框和NLP工具,通过使用Elicit,对在阿富汗进行性别平等研究时人们的写作内容有一个了解。这些见解可能有助于我们理解在过去几十年中,在一个被认为是对女性或女孩来说最困难的地方之一的国家,为促进性别平等所做的工作和未能取得的成果(世界经济论坛,2023年)。 学习目标 掌握处理CSV文件中的文本分析。 了解如何在Python中进行自然语言处理。 开发有效数据可视化的沟通技巧。 深入了解阿富汗性别平等研究的演变。 本文是数据科学博文马拉松的一部分。 使用Elicit进行文献综述 为了生成底层数据,我使用了Elicit,一款用于文献综述的AI工具(Elicit)。我让这个工具生成与问题“为什么阿富汗的性别平等失败了?”相关的论文列表。然后,我以CSV格式下载了结果列表(我考虑了150多篇论文的随机数量)。这些数据是什么样的?让我们来看一看! 在Python中分析来自Elicit的CSV数据 我们首先将CSV文件读入pandas数据框中: import pandas as pd #识别路径和CSV文件 file_path = ‘./elicit.csv’ #读入CSV文件 df = pd.read_csv(file_path) #CSV的形状…

Leave a Comment

成功的数据科学之路在于你的学习能力但是要学什么呢?

在过去的十年中,数据科学取得了许多重大进展,但尽管取得了这些成就,许多项目却从未见天日作为数据科学家,我们不仅要展现强大的技能,还要具备良好的沟通和领导能力我们需要与团队成员、利益相关者和决策者进行有效的沟通,以确保项目能够成功实施并产生实际价值此外,我们还需要不断学习和更新我们的知识,以跟上快速发展的技术和工具只有通过不断提升自己的能力,我们才能在数据科学领域取得持久的成功

Leave a Comment

LangFlow | 使用LLMs开发应用程序的LangChain用户界面

介绍 大型语言模型席卷全球。随着ChatGPT、GPT3、Bard和其他大型语言模型的出现,开发人员不断使用这些模型来创建新的产品解决方案。每一天都会有一个新的大型语言模型或现有LLM的新版本。跟上这些新版本或新模型可能会有问题,因为人们必须阅读每个大型语言模型的文档。LangChain是一个包装所有不同LLM的库,使事情变得更容易。此外,基于LangChain的UI——LangFlow也被引入,可以直接与之交互和创建应用程序,使事情变得更好。 学习目标 了解LangFlow UI 安装和使用LangFlow 了解LangFlow的内部工作原理 使用LangFlow创建应用程序 通过LangFlow共享创建的应用程序 本文是Data Science Blogathon的一部分。 什么是LangFlow和为什么使用LangFlow? LangFlow是一个基于Python包LangChain和react-flow设计的图形用户界面(UI)。LangChain是一个用于创建大型语言模型应用程序的Python包。它由不同的组件组成,如代理、LLMs、链、内存和提示。开发人员将这些模块链在一起以创建应用程序。LangChain包含几乎所有流行的大型语言模型的包装器。现在,要使用LangChain,必须编写代码来创建应用程序。编写代码有时可能耗时甚至容易出错。 这就是LangFlow的作用。它是基于LangChain的图形用户界面(UI)。它包含LangChain中的所有组件。LangFlow提供了拖放功能,您可以将组件拖放到屏幕上并开始从大型语言模型构建应用程序。它甚至包含了丰富的示例供每个人开始使用。在本文中,我们将介绍这个UI,并看看如何使用它构建应用程序。 让我们从LangFlow开始 现在,我们已经了解了LangFlow是什么,以及它的作用,让我们深入了解其功能,以更好地理解其功能。LangFlow UI适用于JavaScript和Python。您可以选择其中一种并开始使用。对于Python版本,需要在系统中安装Python和LangChain库。 如果您想使用LangFlow,您需要安装以下软件包 pip install langchain pip install langflow…

Leave a Comment

AutoML – 无代码解决方案,用于构建机器学习模型

介绍 AutoML(自动机器学习)也被称为自动化机器学习。在2018年,谷歌推出了云端 AutoML,引起了很大的关注,是机器学习和人工智能领域最重要的工具之一。在本文中,您将学习使用谷歌云端 AutoML 构建机器学习模型的“无代码”解决方案。 AutoML 是 Google 云平台 Vertex AI 的一部分。Vertex AI 是云端构建和创建机器学习管道的端到端解决方案。但是,我们将在未来的文章中讨论 Vertex AI 的细节。AutoML 主要依赖于迁移学习和神经搜索架构。您只需要提供数据,之后 AutoML 将为您的用例构建一个最佳的自定义模型。 在本文中,我们将讨论使用 Python 代码在 Google 云平台上实现…

Leave a Comment