您是否渴望成为一名数据分析师？如果是的话，学习强大的数据分析库pandas的数据整理技能是您工具箱中必备的技能。
几乎所有的数据科学课程和培训班都包含pandas在其课程中。尽管pandas易学，但习惯性的使用和掌握常用功能和方法调用需要练习。
本指南将学习pandas的内容分解为7个简单的步骤，从您可能熟悉的内容开始，逐渐探索pandas的强大功能。从基础知识，到各种数据整理任务，再到构建仪表盘，这是一个全面的学习路径。
第一步：Python和SQL基础
如果您想进入数据分析或数据科学领域，您首先需要掌握一些基本的编程技能。我们推荐从Python或R开始，但本指南将专注于Python。
学习Python和Web Scraping
为了恢复您的Python技能，您可以使用以下资源之一：
Python易学易用，并能够立即开始构建。您可以专注于以下主题：
- Python基础知识：熟悉Python语法、数据类型、控制结构、内置数据结构和基本的面向对象编程（OOP）概念。
- Web Scraping基础知识：了解Web Scraping的基础知识，包括HTML结构、HTTP请求和解析HTML内容。熟悉像BeautifulSoup和requests这样的库，用于Web Scraping任务。
- 连接到数据库：学习如何使用诸如SQLAlchemy或psycopg2等库将Python连接到数据库系统。了解如何从Python执行SQL查询并从数据库中检索数据。
虽然不是强制性的，但使用Jupyter Notebooks来进行Python和Web Scraping练习可以为学习和实验提供一个交互式环境。
学习SQL
SQL是数据分析的必备工具；学习SQL将如何帮助您学习pandas呢？
嗯，一旦您掌握了编写SQL查询的逻辑，将这些概念转用于对pandas数据框执行类似操作非常容易。
学习SQL的基础知识（结构化查询语言），包括如何创建、修改和查询关系数据库。了解SQL的命令，如SELECT、INSERT、UPDATE、DELETE和JOIN。
您可以使用以下资源学习和恢复您的SQL技能：
通过掌握本步骤中提到的技能，您将在Python编程、SQL查询和Web Scraping方面拥有坚实的基础。这些技能是更高级的数据科学和分析技术的基石。
第二步：从各种来源加载数据
首先，设置您的工作环境。安装pandas（以及其所需的依赖项，如NumPy）。遵循最佳实践，如使用虚拟环境管理项目级安装。
如上所述，pandas 是一个强大的 Python 数据分析库。然而，在开始使用 pandas 之前，您应该熟悉基本的数据结构：pandas DataFrame 和series。
要分析数据，您应该首先将数据从其来源加载到 pandas 数据框中。学习从各种来源（如 CSV 文件、Excel 电子表格、关系数据库等）加载数据非常重要。以下是一个概述：
- 从 CSV 文件中读取数据：学习如何使用
pd.read_csv()函数从逗号分隔值（CSV）文件读取数据并加载到 DataFrame 中。了解可以用于自定义导入过程的参数，例如指定文件路径、分隔符、编码等。 - 从 Excel 文件导入数据：探索
pd.read_excel()函数，它允许您从 Microsoft Excel 文件（.xlsx）中导入数据并将其存储在 DataFrame 中。了解如何处理多个工作表并自定义导入过程。 - 从 JSON 文件加载数据：学习使用
pd.read_json()函数从 JSON（JavaScript 对象表示法）文件导入数据并创建一个 DataFrame。了解如何处理不同的 JSON 格式和嵌套数据。 - 从 Parquet 文件读取数据：了解
pd.read_parquet()函数，它可以从 Parquet 文件中导入数据，这是一种列式存储文件格式。了解 Parquet 文件在大数据处理和分析方面的优势。 - 从关系数据库表导入数据：了解
pd.read_sql()函数，它允许您从关系数据库查询数据并加载到 DataFrame 中。了解如何建立与数据库的连接、执行 SQL 查询并直接将数据提取到 pandas。
我们已经学会了如何将数据集加载到 pandas 数据框中。接下来是什么？
步骤 3: 选择行和列，过滤数据框
接下来，您应该学习如何从 pandas DataFrame 中选择特定的行和列，并根据特定条件过滤数据。学习这些技术对于数据操作和从数据集中提取相关信息非常重要。
索引和切片 DataFrame
了解如何根据标签或整数位置选择特定的行和列。您应该学会使用 .loc[]、.iloc[] 和布尔索引等方法对 DataFrame 进行切片和索引。
.loc[]：此方法用于基于标签的索引，允许您选择行和列。.iloc[]：此方法用于基于整数的索引，允许您选择行和列。- 布尔索引：这种技术涉及使用布尔表达式根据特定条件筛选数据。
按列名选择是一种常见操作。因此，学习如何使用列名访问和检索特定列非常重要。练习使用单列选择和同时选择多个列。
过滤数据框
在过滤数据框时，您应该熟悉以下内容：
- 根据条件过滤：了解如何使用布尔表达式根据特定条件筛选数据。学习使用比较运算符（>、<、== 等）创建满足特定条件的筛选器，从中提取行。
- 组合过滤器：学习如何使用逻辑运算符 ‘&’（与）、’|’（或）和 ‘~’（非）组合多个过滤器。这将使您能够创建更复杂的过滤条件。
- 使用 isin()：学习使用
isin()方法根据值是否出现在指定列表中进行数据过滤。这对于提取某列的值与提供的任何项匹配的行非常有用。
通过掌握本步骤中介绍的概念，您将能够高效地从 pandas 数据框中选择和过滤数据，从而提取最相关的信息。
快速说明资源
在步骤3到6中，你可以使用以下资源来学习和练习：
第4步：探索和清理数据集
到目前为止，你已经学会了如何将数据加载到pandas数据框中，选择列和筛选数据框。在这一步中，你将学习如何使用pandas探索和清理数据集。
探索数据有助于了解其结构，识别潜在问题，并在进一步分析之前获取洞见。清理数据包括处理缺失值，处理重复值和确保数据一致性：
- 数据检查：了解如何使用
head()、tail()、info()、describe()方法和shape属性来获取数据集的概览信息。这些方法提供有关数据框的第一/最后行、数据类型、摘要统计以及数据框的维度的信息。 - 处理缺失数据：了解在数据集中处理缺失值的重要性。学习如何使用
isna()和isnull()等方法来识别缺失数据，并使用dropna()、fillna()或插补方法来处理它。 - 处理重复数据：学习如何使用
duplicated()和drop_duplicates()等方法来检测和删除重复的行。重复数据可能会扭曲分析结果，因此应该予以处理以确保数据准确性。 - 清理字符串列：学习如何使用
.str访问器和字符串方法来执行字符串清理任务，如去除空格、提取和替换子字符串、拆分和连接字符串等。 - 数据类型转换：了解如何使用
astype()等方法将数据类型转换。将数据转换为适当的类型确保数据准确表示并优化内存使用。
此外，你还可以使用简单的可视化方法探索数据集并进行数据质量检查。
数据探索和数据质量检查
使用可视化和统计分析来获取有关数据的洞见。学习如何使用pandas和其他库（如Matplotlib或Seaborn）创建基本图表，可视化数据的分布、关系和模式。
进行数据质量检查以确保数据的完整性。这可能涉及验证值是否位于预期范围内，识别异常值，或检查相关列是否一致。
你现在已经知道如何探索和清理数据集，从而获得更准确可靠的分析结果。适当的数据探索和清理对于任何数据科学项目都非常重要，因为它们为成功的数据分析和建模奠定了基础。
第5步：转换、分组和聚合
到目前为止，你已经熟悉使用pandas的DataFrame进行基本操作，如选择行和列，筛选和处理缺失数据。
你经常希望根据不同的条件对数据进行汇总。为此，你需要学习如何进行数据转换，使用GroupBy功能，并在数据集上应用各种聚合方法。这可以进一步细分如下：
- 数据转换：学习如何使用添加或重命名列、删除不必要列和在不同格式或单位之间进行数据转换等技术修改数据。
- 应用函数：了解如何使用
apply()方法将自定义函数应用于DataFrame，这使你可以以更灵活和定制化的方式转换数据。 - 重塑数据：探索额外的数据框方法，如
melt()和stack()，这些方法允许你重塑数据，并使其适合特定的分析需求。 - GroupBy功能：通过
groupby()方法，你可以根据特定的列值对数据进行分组。这使你可以在每个组上执行聚合和分析数据。 - 聚合函数：了解常见的聚合函数，如求和、平均值、计数、最小值和最大值。这些函数与
groupby()一起用于汇总数据并计算每个组的描述性统计信息。
本步骤中概述的技巧将帮助您有效地转换、分组和聚合数据。
步骤6：连接和透视表
接下来，您可以通过学习如何使用pandas执行数据连接和创建透视表来提升自己。 连接 允许您基于共同列将多个数据框的信息合并在一起，而 透视表 则可帮助您以表格形式对数据进行总结和分析。以下是您需要了解的内容：
- 合并数据框：了解内连接、外连接、左连接和右连接等不同类型的连接。学习如何使用
merge()函数根据共享列合并数据框。 - 连接数据框：学习如何使用
concat()函数垂直或水平连接数据框。在合并具有相似结构的数据框时非常有用。 - 索引操作：了解如何设置、重置和重命名数据框中的索引。正确的索引操作对于执行连接和创建透视表非常重要。
- 创建透视表：使用
pivot_table()方法将数据转换为汇总和交叉制表格式。学习如何指定所需的聚合函数并根据特定列值对数据进行分组。
您还可以选择了解如何创建多级透视表，从而可以使用多个列作为索引级别来分析数据。通过足够的练习，您将知道如何使用连接将数据从多个数据框中合并，并创建信息丰富的透视表。
步骤7：构建数据仪表板
现在，您已经掌握了使用pandas进行数据整理的基础知识，是时候通过构建数据仪表板来考验您的技能了。
构建交互式仪表板将帮助您锻炼数据分析和可视化技能。在这一步中，您需要熟悉Python中的数据可视化。 数据可视化-Kaggle Learn 是一个全面的入门指南。
当您寻找数据领域的机会时，您需要拥有项目组合，并且需要超越在Jupyter笔记本中进行数据分析。是的，您可以学习并使用Tableau。但是您可以在Python基础上构建，并开始使用Python库 Streamlit 来构建仪表板。
Streamlit可以帮助您构建交互式仪表板，而无需担心编写数百行的HTML和CSS代码。
如果您正在寻找灵感或学习Streamlit的资源，您可以参考这个免费课程：使用Python和Streamlit构建12个数据科学应用程序，其中包括股票价格、体育和生物信息学数据等项目。选择一个真实世界的数据集，对其进行分析，并构建一个数据仪表板来展示您分析的结果。
下一步
凭借扎实的Python、SQL和pandas基础，您可以开始申请和面试数据分析师岗位。
我们已经包括了构建数据仪表板来整合所有内容：从数据收集到仪表板和洞见。因此，请确保构建项目组合。在这样做时，不要局限于通用项目，要包括您真正喜爱的项目。如果您喜欢阅读或音乐（大多数人都喜欢），尝试分析您的Goodreads和Spotify数据，构建仪表板并不断改进它。继续努力！
[Bala Priya C](https://twitter.com/balawc27) 是来自印度的开发者和技术作家。她喜欢在数学、编程、数据科学和内容创作的交汇处工作。她感兴趣和擅长的领域包括DevOps、数据科学和自然语言处理。她喜欢阅读、写作、编码和咖啡！目前，她正在通过撰写教程、指南、观点文章等来学习并与开发者社区分享她的知识。