当前位置：首页 > news >正文

详细介绍pandas 在python中的用法

news 2025/8/9 18:33:08

Pandas 是 Python 中非常流行的数据分析和处理库，特别适用于处理结构化数据。它构建在 NumPy 之上，提供了更高级的功能，例如数据清理、整理、筛选和统计分析。Pandas 的核心数据结构是 Series 和 DataFrame，分别用于处理一维数据和二维数据。

下面是 Pandas 的详细用法介绍：

1. 导入Pandas

在使用 Pandas 之前，首先需要导入库，通常使用别名 pd：

import pandas as pd

2. 数据结构

a) `Series`：一维数据结构

Series 是一种类似于 Python 列表或字典的对象，但每个数据项都有一个索引。

# 创建一个简单的Series
s = pd.Series([1, 3, 5, 7, 9])
print(s)
# 输出：
# 0    1
# 1    3
# 2    5
# 3    7
# 4    9
# dtype: int64

可以为 Series 自定义索引：

s = pd.Series([1, 3, 5, 7, 9], index=['a', 'b', 'c', 'd', 'e'])
print(s)
# 输出：
# a    1
# b    3
# c    5
# d    7
# e    9
# dtype: int64

b) `DataFrame`：二维数据结构

DataFrame 是 Pandas 中最常用的数据结构，可以理解为一个二维表格，类似于数据库中的表格或 Excel 表。

# 从字典创建DataFrame
data = {'Name': ['Tom', 'Jerry', 'Mickey'],'Age': [20, 22, 21],'Score': [88, 92, 95]}df = pd.DataFrame(data)
print(df)
# 输出：
#      Name  Age  Score
# 0     Tom   20     88
# 1   Jerry   22     92
# 2  Mickey   21     95

3. 读取数据

a) 读取CSV文件

Pandas 可以轻松地读取各种文件格式，比如 CSV 文件、Excel 文件、SQL 数据库等。

# 读取CSV文件
df = pd.read_csv('data.csv')
print(df.head())  # 查看前5行数据

b) 读取Excel文件

df = pd.read_excel('data.xlsx', sheet_name='Sheet1')
print(df.head())

4. 数据选择

a) 选择列

你可以通过列名来选择 DataFrame 中的某一列或多列。

# 选择单列
print(df['Name'])# 选择多列
print(df[['Name', 'Score']])

b) 选择行：使用`loc`和`iloc`

loc 是通过标签进行索引。
iloc 是通过整数位置进行索引。

# 通过标签选择行
print(df.loc[0])  # 选择第1行# 通过整数位置选择行
print(df.iloc[1])  # 选择第2行# 选择多行多列
print(df.loc[0:2, ['Name', 'Age']])

5. 数据过滤和条件筛选

Pandas 提供了方便的方式来对数据进行条件筛选。

# 筛选年龄大于21的数据
filtered_df = df[df['Age'] > 21]
print(filtered_df)# 多条件筛选
filtered_df = df[(df['Age'] > 20) & (df['Score'] > 90)]
print(filtered_df)

6. 数据清理

a) 处理缺失值

缺失值在数据分析中非常常见，Pandas 提供了多种方法来处理它们。

# 查看缺失值情况
print(df.isnull())# 删除包含缺失值的行
df_cleaned = df.dropna()
print(df_cleaned)# 用指定值填充缺失值
df_filled = df.fillna(0)
print(df_filled)

b) 删除重复值

df_deduped = df.drop_duplicates()
print(df_deduped)

c) 修改列名

df.rename(columns={'Name': 'Student Name', 'Age': 'Student Age'}, inplace=True)
print(df)

7. 数据转换

a) 数据类型转换

# 将'Age'列转换为浮点数
df['Age'] = df['Age'].astype(float)
print(df.dtypes)

b) 应用函数：`apply()` 和 `map()`

# 对DataFrame的列应用函数
df['Score'] = df['Score'].apply(lambda x: x + 5)
print(df)# 对Series应用函数
df['Name'] = df['Name'].map(lambda x: x.upper())
print(df)

8. 数据统计和分析

Pandas 提供了丰富的统计函数和聚合功能，方便进行快速的数据分析。

a) 描述性统计

# 基本统计信息
print(df.describe())

b) 分组聚合

# 按'Age'列分组，计算'Score'的平均值
grouped_df = df.groupby('Age')['Score'].mean()
print(grouped_df)

c) 透视表（Pivot Table）

# 创建透视表
pivot_table = pd.pivot_table(df, values='Score', index='Age', aggfunc='mean')
print(pivot_table)

9. 数据的合并和连接

a) 合并数据

可以使用 merge() 函数将两个 DataFrame 进行合并，类似 SQL 中的 join。

# 左连接合并
df1 = pd.DataFrame({'ID': [1, 2, 3], 'Name': ['Alice', 'Bob', 'Charlie']})
df2 = pd.DataFrame({'ID': [1, 2, 4], 'Score': [85, 90, 95]})merged_df = pd.merge(df1, df2, on='ID', how='left')
print(merged_df)

b) 连接数据

可以使用 concat() 函数进行数据的纵向或横向拼接。

# 纵向拼接
df1 = pd.DataFrame({'A': [1, 2], 'B': [3, 4]})
df2 = pd.DataFrame({'A': [5, 6], 'B': [7, 8]})concatenated_df = pd.concat([df1, df2], axis=0)
print(concatenated_df)

10. 数据可视化

Pandas 可以与 Matplotlib 配合使用进行简单的数据可视化。

import matplotlib.pyplot as plt# 简单的折线图
df['Score'].plot()
plt.show()# 柱状图
df['Score'].plot(kind='bar')
plt.show()

11. 导出数据

a) 导出到CSV文件

df.to_csv('output.csv', index=False)

b) 导出到Excel文件

df.to_excel('output.xlsx', sheet_name='Sheet1', index=False)

12. 时间序列处理

Pandas 提供了非常强大的时间序列功能，可以方便地进行时间戳数据的处理。

# 创建时间序列
date_range = pd.date_range('2024-01-01', periods=5, freq='D')
print(date_range)# 将时间戳作为索引
df_time = pd.DataFrame({'Value': [1, 2, 3, 4, 5]}, index=date_range)
print(df_time)