Skip to content

100个Pandas小技巧,让你精通Python数据分析

发表: at 12:00

Pandas 常用于数据处理与分析,本文精心梳理了 100 个 Pandas 要点,助你驾驭各类数据任务。

1 Pandas基础

  1. 使用import pandas as pd导入Pandas库 。
  2. 使用pd.DataFrame()函数,将字典 数据转化 为 DataFrame 格式,便于数据处理与分析。
  3. 使用pd.read_csv()将CSV文件中的数据加载到DataFrame中。
  4. 使用df.head()和df.tail()查看DataFrame的前几行和最后几行。
  5. 使用df.columns访问列名。
  6. 使用df.index访问索引信息。
  7. 使用df.describe()获取数值列的汇总统计信息。
  8. 使用df.dtypes查看每列的数据类型。
  9. 使用df.info()获取DataFrame的简洁摘要。
  10. 使用df[‘column_name’]选择单个列。
  11. 使用df[[‘col1’, ‘col2’]]选择多个列。
  12. 使用df.loc[index_label]通过索引标签访问行。
  13. 使用df.iloc[row_index]通过整数索引访问行。
  14. 使用df.shape获取DataFrame的维度(行数,列数)。
  15. 使用df.set_index(‘column_name’)设置新的索引。
  16. 使用df.reset_index()重置索引。
  17. 使用df.rename(columns={‘old_name’: ‘new_name’})重命名列。
  18. 使用df.drop(columns=[‘col1’, ‘col2’])删除列。
  19. 使用df.dropna()删除含有缺失值的行。
  20. 使用df.fillna(value)用特定值填充缺失值。
  21. 使用df.isnull()检查是否存在缺失值。

2 数据操作

  1. 使用向量化操作对列执行元素级操作。
  2. 根据现有列创建新列。
  3. 使用df[‘column’].apply()将函数应用于列的每个元素。
  4. 使用df.groupby(‘column’)按列对数据进行分组。
  5. 分组后使用sum()、mean()等函数对数据进行聚合。
  6. 使用pd.pivot_table()创建透视表进行多级分组。
  7. 使用df.sort_values(‘column’)按列值对DataFrame进行排序。
  8. 使用df.sort_index()按索引对DataFrame进行排序。
  9. 使用pd.concat([df1, df2])垂直连接DataFrame。
  10. 使用pd.merge()在指定列上合并DataFrame。
  11. 使用pd.merge()和how参数执行类似SQL的连接操作。
  12. 使用pd.concat([df1, df2], axis=1)合并具有相同索引的DataFrame。
  13. 使用df[‘column’].replace(old_value, new_value)替换列中的值。
  14. 使用pd.get_dummies(df[‘column’])创建虚拟变量。
  15. 使用pd.cut()将数值数据划分为离散区间。
  16. 使用df.applymap()将函数应用于DataFrame的每个元素。

3 索引和选择

  1. 使用布尔索引根据条件选择行。
  2. 使用df.loc[]进行基于标签的索引。
  3. 使用df.iloc[]进行基于整数的索引。
  4. 使用df.ix[]进行混合标签和整数的索引(在最新版本中已弃用)。
  5. 使用&(与)、|(或)和~(非)运算符连接多个条件。
  6. 使用isin()根据值列表过滤DataFrame的行。
  7. 使用between()根据值的范围过滤DataFrame的行。
  8. 使用df.loc[]同时选择特定的行和列。
  9. 使用df.select_dtypes()根据数据类型选择列。
  10. 使用df.query(‘condition’)通过表达式查询DataFrame。
  11. 使用布尔索引根据条件设置值。

4 时间序列数据

  1. 使用pd.to_datetime(df[‘column’])将列转换为日期时间类型。
  2. 使用df.set_index(‘column’)将某列设置为索引。
  3. 使用df.resample(‘frequency’)对时间序列数据进行重采样。
  4. 使用df.loc[‘YYYY-MM-DD’]访问特定时间的元素。
  5. 使用df[‘column’].diff()计算日期之间的时间差。
  6. 使用df[‘column’].shift(periods)移动时间序列数据。
  7. 使用rolling()对时间序列数据进行滚动窗口计算。
  8. 使用dt访问器访问日期时间列的组件(例如,df[‘column’].dt.day)。
  9. 使用groupby()和resample()执行基于时间的分组操作。

5 数据清洗和预处理

  1. 使用df.drop_duplicates()删除重复行。
  2. 使用df[‘column’].str.lower()将字符串转换为小写。
  3. 使用df[‘column’].str.strip()去除字符串前后的空格。
  4. 使用df[‘column’].replace({‘old_val’: ‘new_val’})替换值。
  5. 使用df.drop_duplicates(subset=‘column’)删除特定列中具有重复值的行。

6 使用Pandas进行可视化

  1. 使用df.plot()进行基本绘图。
  2. 使用df.plot(x=‘col1’, y=‘col2’)绘制特定列之间的关系图。
  3. 在使用df.plot()后,使用Matplotlib函数自定义绘图。
  4. 使用df.plot(kind=‘bar’)创建条形图。
  5. 使用df[‘column’].plot(kind=‘hist’)创建直方图。
  6. 使用df.boxplot(column=‘column’)创建箱线图。

7 使用Pandas进行文件输入/输出

  1. 使用df.to_csv(‘file.csv’)将DataFrame保存为CSV文件。
  2. 使用df.to_excel(‘file.xlsx’)将DataFrame保存为Excel文件。
  3. 使用pd.read_excel(‘file.xlsx’)从Excel文件读取数据。
  4. 使用pd.read_json(‘file.json’)从JSON文件读取数据。
  5. 使用df.to_json(‘file.json’)将DataFrame保存为JSON文件。
  6. 使用pd.read_sql(‘SELECT * FROM table’, connection)从SQL数据库读取数据。

8 高级主题

  1. 使用pd.MultiIndex.from_arrays()创建多级索引DataFrame。
  2. 使用df.stack()和df.unstack()堆叠和展开多级索引的层级。
  3. 使用pd.melt()将DataFrame从宽格式转换为长格式。
  4. 使用swifter进行并行处理以加快操作速度。
  5. 使用pd.options.display自定义显示选项。

9 处理分类数据

  1. 使用df[‘column’].astype(‘category’)将列转换为分类类型。
  2. 使用df[‘column’].cat.codes访问分类代码。
  3. 使用df[‘column’].cat.rename_categories(new_categories)重命名分类。

10 自定义函数

  1. 使用groupby().apply()将函数应用于每个分组。
  2. 使用df[‘column’].map()将自定义函数应用于每个元素。
  3. 使用df.apply()按元素应用函数。

11 重采样时间序列数据

  1. 使用df.resample(‘frequency’)对时间序列数据进行重采样。
  2. 重采样时使用聚合函数,如sum()、mean()等。

12 处理文本数据

  1. 使用str访问器访问字符串方法(例如,df[‘column’].str.lower())。
  2. 使用str.contains()进行字符串匹配。
  3. 使用str.extract()使用正则表达式提取信息。

13 内存管理

  1. 使用df.memory_usage()分析内存使用情况。
  2. 通过选择合适的数据类型(astype())减少内存使用。

14 GroupBy操作

  1. 使用df.groupby([‘col1’, ‘col2’])进行多级分组。
  2. 在分组操作后使用agg()聚合多个函数。
  3. 使用agg()对多个列应用多个函数。

15 合并DataFrame

  1. 使用pd.concat()并设置axis=1水平合并DataFrame。
  2. 使用pd.merge()基于公共列合并DataFrame。

16 地理空间数据

  1. 使用geopandas结合Pandas处理地理空间数据。
  2. 使用geopandas执行空间操作,如叠加和相交。
  3. 使用geopandas.plot()可视化地理空间数据。

这些技巧涵盖了Pandas的广泛功能,从基本的数据操作到处理时间序列、分类数据等的高级技术。在实际数据集上尝试这些技巧,有助于巩固你对Pandas及其功能的理解。

文章来源:网络,原始发表时间:2025年03月25日。


上篇文章
快速上手:开发第一个MCP Server
下篇文章
一文了解思维链(Chain-of-Thought, CoT)