Pandas库基础操作
pandas库是Python中非常受欢迎的数据分析库，提供了快速、灵活和富有表现力的数据结构，便于轻松地进行数据清洗和分析。因为它不是标准库，使用前确保环境已经安装了Pandas库。
pip install pandas
接下来，通过一个简单的例子来了解pandas的基本用法。假设有一个包含员工信息的电子表格文件名为“员工表.csv”，文本内容如下。
名字,年龄,部门,薪水
艾莉,28,人事,8000
刘包,32,研发部,13000
凯莉,25,市场部,6500
利用pandas库读取文件信息，首先导入pandas库并改名为“pd”，这样可以保证代码的简洁和避免命名冲突 ，示例代码如下。
import pandas as pd
# 读取CSV文件
df = pd.read_csv('员工表.csv')
# 查看一个DataFrame对象的前几行和最后几行
print("======前2行=======")
print(df.head(2)) # 默认是5项
print("======最后一行=======")
print(df.tail(1))
print("======列名字=======")
# 列标签
print(df.columns)
# 输出
======前2行=======
名字 年龄 部门 薪水
0 艾莉 28 人事 8000
1 刘包 32 研发部 13000
======最后一行=======
名字 年龄 部门 薪水
2 凯莉 25 市场部 6500
======列名字=======
Index(['名字', '年龄', '部门', '薪水'], dtype='object')
注意：这里推荐使用Jupyter-notebook编辑器进行学习和代码验证，notebook的好处是可以按步骤，分阶段地运行代码，适合进行数据分析，反复对数据进行调整与运算。若忘记怎样启动Jupyter，请查看本书1.2.2小节。
下面是pandas库常见操作，代码如下。
# 读取Excel文件
df = pd.read_csv('员工表.csv')
# 数据观察和操作
print("显示DataFrame的基本信息，如列名、数据类型等")
print(df.info())
print("生成描述性统计信息，如平均值、标准差等")
print(df.describe())
print("返回DataFrame各列的数据类型")
print(df.dtypes)
print("检查DataFrame中的缺失值")
print(df.isnull)
# 数据选择和过滤
print("选择DataFrame中的某一列")
print(df["部门"])
print("通过标签选择特定行和列")
print(df.iloc[0, 1])
print("根据条件过滤DataFrame的行。")
print(df[df['薪水'] > 10000])
print("按指定列对DataFrame进行分组")
# 数据聚合和统计
# 按指定列对DataFrame进行分组
group = df.groupby('部门')
print(group.describe())
print("计算DataFrame中每列的平均值")
print(df["薪水"].min())
print("计算DataFrame中每列的总和")
print(df["薪水"].sum())
print("计算DataFrame中每列的最大值")
print(df["薪水"].max())
print("计算DataFrame中每列的最小值")
print(df["薪水"].min())
# 输出内容较多，这里不作展示。
实战：学生成绩统计与分析
1.学生成绩数据处理
（1）导入学生成绩数据表格
首先，需要一个包含学生姓名和成绩的Excel表格。假设两个表格名为“学生期中成绩.xlsx”和“学生期末成绩.xlsx”，并且包含了一个名为“成绩”的工作表，其中包含学生的所有成绩信息。现在打开Jupyter-notebook，使用Python的pandas库来处理Excel表格数据。首先，安装并导入pandas库，然后使用read_excel()函数来导入学生成绩数据表格。
import pandas as pd
# 读取Excel文件
df_midterm = pd.read_excel('期中考试.xlsx', sheet_name='成绩')
df_final = pd.read_excel('期末考试.xlsx', sheet_name='成绩')
（2）读取和解析Excel数据
一旦导入了学生成绩数据表格，使用pandas库的各种功能来读取和解析数据。例如，使用head()函数来查看前几行数据，并使用columns属性来获取列名。
# 显示数据的前5行
print(df_midterm.head())
print(df_final.head())
# ------------ 结果 ---------------
姓名 成绩
0 林同学 89
1 叶同学 118
2 陈同学 110
3 邓同学 91
4 黄同学 116
姓名 成绩
0 林同学 110
1 叶同学 86
2 陈同学 88
3 邓同学 93
4 黄同学 109
（3）清洗和预处理数据
在进行统计和分析之前，需要对数据进行清洗和预处理，以确保数据的准确性和一致性。如处理缺失值、删除重复项或进行数据类型转换。
# 处理缺失值
df_midterm= df_midterm.dropna()
df_final = df_final.dropna()
# 删除重复项
df_midterm= df_midterm.drop_duplicates()
df_final = df_final.drop_duplicates()
# 数据类型转换，改为浮点数
df_midterm['期中成绩'] = df_midterm['期中成绩'].astype(float)
df_final['期末成绩'] = df_final['期末成绩'].astype(float)
通过以上步骤，完成了学生成绩数据的导入、读取和解析，以及数据的清洗和预处理。接下来，进一步进行统计和可视化分析，以便更好地了解学生的表现情况。
2.统计学生成绩
现在进行学生成绩统计，通过计算学生的平均成绩和总分，并对成绩进行排名、分析成绩分布和通过率，深入了解学生的表现情况，对比两次考试可以看到这学期学生的学习情况，是否有进步。
（1）计算学生的平均成绩
使用pandas库的mean()函数来计算学生的平均成绩，代码如下。
# 计算平均成绩
average_score_midterm = df_midterm['成绩'].mean()
print("学生期中平均成绩为: ", average_score_midterm)
average_score_final = df_final['成绩'].mean()
print("学生期末平均成绩为: ", average_score_final)
# ------------ 结果 ---------------
学生期中平均成绩为: 102.395833333
学生期末平均成绩为: 103.125
（2）对学生的成绩进行排名
# 期中成绩排名学生的成绩
df_midterm['成绩排名'] = df_midterm['成绩'].rank(ascending=False)
# 数据类型转换，排名使用整数
df_midterm['成绩排名'] = df_midterm['成绩排名'].astype('int32')
print(df_midterm.head())
# ------------ 结果 ---------------
姓名 成绩 成绩排名
0 林同学 89.0 40
1 叶同学 118.0 3
2 陈同学 110.0 18
3 邓同学 91.0 38
4 黄同学 116.0 6
期末考试的成绩也按照同样的方式进行处理，以便通过比较期中和期末考试的成绩排名来了解学生的学习状况及名次变化。
（3）分析成绩排名变化
在数据处理过程中，利用pandas库的merge()函数将两个数据表格进行合并。合并的主要依据是学生姓名，如果存在同名学生，我们可以通过学号作为合并数据的依据。这种处理方式能够有效地将相关数据进行整合，以进一步进行数据分析与处理。
# 比较期中期末成绩排名变化
res = pd.merge(df_final, df_midterm, left_on="姓名", right_on="姓名", how="inner")
print(res.head())
# ------------ 结果 ---------------
姓名 成绩_x 期末成绩排名 成绩_y 成绩排名
0 林同学 110.0 13 89.0 40
1 叶同学 86.0 47 118.0 3
2 陈同学 88.0 45 110.0 18
3 邓同学 93.0 40 91.0 38
4 黄同学 109.0 15 116.0 6
若有相同列名，程序会帮我们添加标识区分开来，但为了更直观查看数据，我们更改列名，让数据更清晰明了。
# 修改列名
res.rename(columns={'成绩_x': '期末成绩', '成绩_y': '期中成绩', '成绩排名': '期中成绩排名'}, inplace=True)
print(res.head())
# ------------ 结果 ---------------
姓名 期末成绩 期末成绩排名 期中成绩 期中成绩排名
0 林同学 110.0 13 89.0 40
1 叶同学 86.0 47 118.0 3
2 陈同学 88.0 45 110.0 18
3 邓同学 93.0 40 91.0 38
4 黄同学 109.0 15 116.0 6
现在有两个方法来判断学生的情况，可以比较成绩或者排名，当然排名更具备说服力，毕竟每次考试的难度都不是一样的，成绩都是相对的。那么让期末排名和期中排名相减，如果是负数就是进步，如果是正数则为退步。
# 查看成绩排名变化
res["排名变化"] = res["期末成绩排名"] - res["期中成绩排名"]
res['变化'] = res['排名变化'].apply(lambda x: '进步' if x < 0 else '退步')
print(res.head())
# ------------ 结果 ---------------
姓名 期末成绩 期末成绩排名 期中成绩 期中成绩排名 排名变化 变化
0 林同学 110.0 13 89.0 40 -27 进步
1 叶同学 86.0 47 118.0 3 44 退步
2 陈同学 88.0 45 110.0 18 27 退步
3 邓同学 93.0 40 91.0 38 2 退步
4 黄同学 109.0 15 116.0 6 9 退步