【科学计算与可视化】2. pandas 基础
1. 安装 Pandas
首先，确保你已经安装了 Pandas。你可以使用以下命令安装：pip install pandas
2. 导入 Pandas
在开始使用 Pandas 之前，你需要先导入它：import pandas as pd
3. 创建数据结构
Pandas 主要有两种数据结构：Series 和 DataFrame。
3.1 Series
Series 是一个一维的标签数组，类似于 Python 的列表或字典。
import pandas as pd
s = pd.Series([1,2,3, np.nan, 6, 8, None], dtype=np.float32)
print(s)
s2 = pd.Series([100, 200, 300, 400], ["A", "B", "C", "D"]) # pd.Series(data, index) data 与 index 必须都是一维的
print(s2)
s2.to_csv("s2.csv") # 将数据保存为 csvs3 = pd.Series(np.arange(12)) # 从 ndarray 创建
s4 = pd.Series({"a": 1, "b": 2, "c": 3}) # 从字典创建
s5 = pd.Series(5, ["a", "b", "c"]) # 从标量值 创建
print(s5['a']) # Series 中数组的访问 类似于 python 中字典的访问
3.2 DataFrame
DataFrame 是一个二维的标签数据结构，类似于电子表格或 SQL 表格。
# 创建一个 DataFrame
data = {"A": [1, 2, 3, 4, 5],"B": [6, 7, 8, 9, 10],"C": [11, 12, 13, 14, 15]
}
df = pd.DataFrame(data)
print(df)# 使用多个 series 来构建 series 中可以缺少数据
df2 = pd.DataFrame({'name': pd.Series(["Tom", "Nick", "John", "Tom", "John"], index = ["A", "B", "C", "D", "E"]),'age': pd.Series([20, 21, 19, 22,], index = ["A", "B", "C", "D"]),'gender': pd.Series(["M", "M", "M", "F", "F"], index = ["A", "B", "C", "D", "E"])
})
print(df2)# 使用字典来创建 维度需要与 index 对应
df3 = pd.DataFrame({'name': ["Tom", "Nick", "John", "Tom", "John"],'age': [20, 21, 19, 22, 18],'gender': ["M", "M", "M", "F", "F"]
}, index=["A", "B", "C", "D", "E"])
print(df3)
# 访问数据
print(df3["name"]) # 访问列 返回一个对象
print(dict(df3["name"])) # 可以将对象转为数组
print(df3.loc["A"]) # 访问行 返回一个对象
print(df3.iloc[0]) # 访问行 返回一个对象print(df3.loc[["A", "C"], ["name", "age"]]) # 指定 行列 返回 一个 DataFrame 对象
df3[df3['age'] > 20] # 可以指定列条件来筛选
df3[(df3['age'] > 20) & (df3['age'] < 22)] # 可以使用逻辑运算符来拼接多个添加 & |
df3.reset_index() # reset_index用于重置索引，原有的索引存在一个新的 index 列中，新索引从 0 开始
df3.set_index("name") # set_index用于设置索引，原有的索引被替换为新的索引
4. 数据读取和写入
Pandas 支持读取和写入多种文件格式，如 CSV、Excel、SQL 等。
4.1 读取数据
# 读取 CSV 文件
df = pd.read_csv('data.csv')# 读取 Excel 文件
df = pd.read_excel('data.xlsx', sheet_name='Sheet1') # sheet_name 用于指定读取哪一个子表4.2 写入数据
# 写入 CSV 文件
df.to_csv('output.csv', index=False)# 写入 Excel 文件
df.to_excel('output.xlsx', sheet_name='Sheet1', index=False)5. 数据查看和检查
5.1 查看数据
# 显示前几行数据
print(df.head())
# 显示最后几行数据
print(df.tail())5.2 检查数据
# 查看 DataFrame 的形状
print(df.shape)
# 查看列名
print(df.columns)
# 查看数据类型
print(df.dtypes)
# 查看数据信息
print(df.info())
# 查看数据描述性统计信息
print(df.describe())6. 数据选择和过滤
6.1 选择数据
# 选择单列数据
print(df['A'])
# 选择多列数据
print(df[['A', 'B']])6.2 选择行数据
# 按行号选择
print(df.iloc[0])
# 按标签选择
print(df.loc[0])6.3 条件选择
# 选择满足条件的行
print(df[df['A'] > 2])
7. 数据清洗
7.1 处理缺失值
# 检查缺失值
print(df.isnull())
# 删除包含缺失值的行
df = df.dropna()
# 填充缺失值
df = df.fillna(0)7.2 处理重复值
# 检查重复值
print(df.duplicated())
# 删除重复值
df = df.drop_duplicates()
8. 数据操作
8.1 增加数据
df4 = pd.DataFrame(np.arange(12).reshape(3,4), index=["A", "B", "C"], columns=["A", "B", "C", "D"])
# 通过运算增加新列
df4["E"] = df4["A"] + df4["D"]
print(df4)# 使用 series创建
df4["F"] = pd.Series(["F", "F", "F"], index=["A", "B", "C"])
print(df4)# 增加行 concat 函数
new_row = pd.DataFrame({"A": [20],"B": [21],"C": [22],"D": [23]
})
df4 = pd.concat([df4, new_row], ignore_index=True)
8.2 删除数据
df4.drop("F", axis=1) # axis = 1 删除列 axis 不填 默认为 1
df4.drop("A", axis=0) # axis = 0 删除行
# drop默认不会改变原有 DataFrame 对象，而是返回一个新的 DataFrame 对象， 当我们需要改变原有对象的时候 我们可以添加 inplace=True 的参数df4.drop("F", axis=1, inplace=True)
8.3 数据排序
# 按单列排序
df = df.sort_values(by='A')# 按多列排序
df = df.sort_values(by=['A', 'B'], ascending=[True, False])9. 数据分组和聚合
9.1 分组
分组通常使用 groupby 方法来实现 这个方法允许你将数据分成不同的组，然后对每个组独立地进行操作
import pandas as pd# 创建一个 DataFrame
df = pd.DataFrame({'A': ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'],'B': ['one', 'one', 'two', 'three', 'two', 'two', 'one', 'three'],'C': [1, 3, 2, 5, 4, 1, 2, 3],'D': [4, 2, 5, 5, 6, 1, 2, 3]
})
print(df)# 按列 'A' 进行分组
grouped = df.groupby('A')# 显示分组
for name, group in grouped:print(name)print(group)9.2 聚合
# 计算每个分组中 “C" 列的平均值
print(grouped['C'].mean())
‘’‘
A
bar 3.0
foo 2.4
’‘’
# 对 grouped 的每一列求和
print(grouped.sum())
‘’‘
A B C D
bar onethreetwo 9 8
foo onetwotwoonethree 12 20
’‘’# 使用 agg 应用多个聚合函数
aggregated = grouped['C'].agg(['sum', 'mean'])
print(aggregated)#也可以使用多个 key 作为键
# 使用多个列作为分组键
grouped = df.groupby(['A', 'B'])# 显示分组
for (name1, name2), group in grouped:print((name1, name2))print(group)
10. 数据可视化
Pandas 集成了 Matplotlib，可以很方便地进行数据可视化。 关于数据可视化将在后续博客更新
import matplotlib.pyplot as plt# 创建一个简单的折线图
df.plot()
plt.show()# 创建一个柱状图
df.plot(kind='bar')
plt.show()11. 高级操作
11.1 合并数据
df1 = pd.DataFrame({'key': ['A', 'B', 'C'], 'value': [1, 2, 3]})
df2 = pd.DataFrame({'key': ['A', 'B', 'D'], 'value': [4, 5, 6]})# 内连接只保留两个 DataFrame 中都有的键（‘key’ 列）的行
merged_df = pd.merge(df1, df2, on='key', how='inner')
print(merged_df)# 外连接会保留两个 DataFrame 中所有的键。如果某个键只在一个 DataFrame 中存在，那么结果中该键的对应行会在另一个 DataFrame 的列上填充 NaN（表示缺失值）。
merged_df = pd.merge(df1, df2, on='key', how='outer')
print(merged_df)
11.2 应用函数
# 对列应用函数
df['A'] = df['A'].apply(np.sqrt)