kaggle上经典泰坦尼克项目数据分析探索

        之前了解在kaggle上这个项目很火，最近想要加强一下python数据分析，所以在kaggle上找到这个项目进行学习探索，下面是将一些学习资料以及过程整理出来。

一、首先我们了解一下项目背景以及如何找到这个项目。

kaggle项目地址:

https://www.kaggle.com/code/alexisbcook/titanic-tutorial?scriptVersionId=99170538&cellId=5

进入页面后会有背景介绍以及项目

我们先大概了解一下项目背景以及流程，找到项目所需要的数据源。

二、准备就绪，下面进入项目一起学习探索

import pandas as pd

train_data = pd.read_csv(r'E:/train.csv')
test_data = pd.read_csv(r'E:/test.csv')
train_data.head(10)

# 数据集概述
# 泰坦尼克号数据集是机器学习入门中一个非常著名的数据集，包含了乘客的个人信息以及他们的生死状态。数据集主要包含以下字段：

# PassengerI：乘客编号
# Survive：生存状态（0代表未存活，1代表存活）
# Pclas：舱位等级
# Nam：乘客姓名
# Se：性别
# Ag：年龄
# SibS：同舱兄弟姐妹或配偶的数量
# Parc：同行父母或子女的数量
# Ticke：票号
# Far：票价
# Cabi：舱位
# Embarke：登船港口

查看导入train数据结果:

查看导入的test数据结果:

test_data.head(10)

查看数据基本信息

# 查看数据基本信息
train_data.info()

test_data.info()

查看数据空值情况

# 检查各个字段的空值情况
train_data.isnull().sum()

说明：从结果看到Age、Cabin和Embarked明显有空值

test_data.isnull().sum()

查看一下数据描述

train_data.describe()

test_data.describe()

# 计算女性获救的概率
women = train_data.loc[train_data.Sex == 'female']["Survived"]
rate_women = sum(women)/len(women)

print("% of women who survived:", rate_women)

# 计算男性获救的概率
men = train_data.loc[train_data.Sex == 'male']["Survived"]
rate_men = sum(men)/len(men)

print("% of men who survived:", rate_men)

# 学习第一个机器学习模型随机森林来预测乘客的获救可能
from sklearn.ensemble import RandomForestClassifier

y = train_data["Survived"]

# 指定相关的特性列
features = ["Pclass", "Sex", "SibSp", "Parch"]
# 将features转换为哑变量
X = pd.get_dummies(train_data[features])
X_test = pd.get_dummies(test_data[features])

model = RandomForestClassifier(n_estimators=100, max_depth=5, random_state=1)
model.fit(X, y)
predictions = model.predict(X_test)

output = pd.DataFrame({'PassengerId': test_data.PassengerId, 'Survived': predictions})
output.to_csv('submission.csv', index=False)
print(output.head(10))
print("Your submission was successfully saved!")

# 上面部分是根据实例kaggle上面的例子，下面我们再对数据做一些探索
# 需求:引入seaborn来研究已知存活的数据中存活比例
# 结论:在891名乘客中，其中存活的比例为36.38%，溺水的比例为61.62%
import seaborn as sns
import matplotlib.pyplot as plt
sns.set()
sns.set_style('ticks')
train_data['Survived'].value_counts().plot.pie(labels = ['downed','survived'],
explode=(0,0.05),shadow = True,autopct = '%.2f%%',fontsize=15)
plt.show()

#年龄分布情况
# 需求:
# 1、年龄的分布情况
# 2、男性和女性的存活情况
# 3、大人和小孩的存活情况

# 结论
# 年龄分布呈现右偏，大部分数据集中在20岁到40岁之间，最小年龄是0.42，最大年龄是80

fig,ax = plt.subplots(1,2,figsize=(15,7))
age = train_data[train_data['Age'].notnull()]
age['Age'].hist(bins=50,histtype='bar',edgecolor='k',ax=ax[0])

age['Age'].plot.box(showfliers=False, 
                    color = {'boxes':'DarkGreen', 'whiskers':'DarkOrange', 'medians':'DarkBlue', 'caps':'Gray'},
                    grid=True,
                    ax=ax[1])
pd.DataFrame(age['Age'].describe()).transpose()

# 需求:按照存活状态分布的年龄情况
# 结论:幸存者的年龄整体比溺水的年龄小，幸存者数据有一个明显的异常值，80岁的幸存者，需要检查一下。

import numpy as np

plt.figure(figsize=(15, 3))
#显示汉字
plt.rcParams['font.sans-serif'] = ['SimHei']

sns.boxplot(y = 'Survived', x = 'Age', data = train_data,
     palette=["#3f3e6fd1", "#85c6a9"], fliersize = 0, orient = 'h')
#orient："v"|"h" 用于控制图像使水平还是竖直显示
#fliersize：异常值大小

sns.stripplot(y = 'Survived', x = 'Age', data = train_data,
     linewidth = 0.6, palette=["#3f3e6fd1", "#85c6a9"], orient = 'h')

plt.yticks( np.arange(2), ['drowned', 'survived'],fontsize= 15)
plt.title('乘客的年龄分布情况',fontsize= 15)
plt.ylabel('存活状态')
plt.tight_layout()

pd.DataFrame(train_data.groupby('Survived').Age.describe())

# 需求:由于有一个异常数据，这里简单修正数据
# 结论:异常值的影响不大，结论仍然是年龄偏小的获救概率较大
train_data.loc[train_data['Age']==80,'Age'] = 48
train_data[train_data['Name']=='Barkworth, Mr. Algernon Henry Wilson']

pd.DataFrame(train_data.groupby('Survived').Age.describe())

#男性和女性存活情况
s_sex = train_data[train_data['Survived']==1][['Sex','Survived']].groupby('Sex').count()

s_sex.plot.bar(rot=0)

print(
'女性存活率为%0.2f%%,男性存活率为%0.2f%%'
%(s_sex.loc['female']/s_sex.sum()*100,s_sex.loc['male']/s_sex.sum()*100))

# 按照不同船舱等级划分： 船舱等级越高，存活者年龄越大，船舱等级1存活年龄集中在20-40岁，船舱等级2/3中有较多低龄乘客存活
# 按照性别划分 ： 男性女性存活者年龄主要分布在20-40岁，且均有较多低龄乘客，其中女性存活更多
# 按照不同船舱等级看存活的男女比例： 1、3等舱存活的男性大部分为20到50，2等舱幸存男性年龄偏低
# 年龄与存活的关系
age = train_data[train_data['Age'].notnull()]
s_age = age[age['Survived']==1]

fig,ax = plt.subplots(1,3,figsize=(15,5))

sns.violinplot(x='Pclass',y='Age',hue='Survived',data = age,split=True,ax=ax[0],grid=True)
ax[0].set_yticks(range(0,110,10))


sns.violinplot('Sex','Age',hue='Survived',data=age,split=True,ax=ax[1])
ax[1].set_yticks(range(0,110,10))

sns.violinplot('Pclass','Age',hue='Sex',data=s_age,split=True,ax=ax[2])
ax[2].set_yticks(range(0,110,10))

plt.tight_layout()

age = train_data[train_data['Age'].notnull()]
age['age_int']=age['Age'].astype(int)
a = age[['Survived','age_int']].groupby('age_int',as_index=False).mean()
#计算均值相当于计算存活率

plt.figure(figsize=(15,4))
sns.barplot(x ='age_int',y='Survived',data=a, palette = 'BrBG')

# 结合 SibSp、Parch字段，研究亲人多少与存活的关系
# 要求：
# 1、有无兄弟姐妹/父母子女和存活与否的关系
# 2、亲戚多少与存活与否的关系


#计算家庭大小
train_data['family_size']=train_data['SibSp']+train_data['Parch']+1
train_data['family_size'].value_counts()

# 家庭大小与存活的关系
# 有两个大小分别为8和11的大家族，其训练数据集中的所有成员均被淹死。
# 大多数乘客独自旅行，生存率不是很高。
# 在船上有4位家庭成员的人群中，幸存的乘客比例最大。


fig = plt.figure(figsize=(12,5))

ax1 = fig.add_subplot(121)

ax = sns.countplot(train_data['family_size'])
labels = (train_data['family_size'].value_counts())
for i, v in enumerate(labels):
    ax.text(i, v+6, str(v), horizontalalignment = 'center', size = 10, color = 'black')
plt.ylabel('乘客数')  
plt.title('按照家庭数量分布的乘客情况')

ax2 = fig.add_subplot(122)

a = train_data.groupby('family_size')['Survived'].value_counts(normalize=True).unstack()
a.plot(kind='bar',stacked='True',color=["#3f3e6fd1", "#85c6a9"],rot=0,ax =ax2)
plt.legend(( 'Drowned', 'Survived'), loc=(1.04,0))
plt.title('按照家庭数量分布的存活情况')
plt.tight_layout()

# 结合票的费用情况，研究票价和存活与否的关系
# 要求：
# 1、 票价分布和存活与否的关系
# 2、比较研究生还者和未生还者的票价情况

# 票价分布和存活与否的关系
# 结论:生还者的平均票价要大于未生还者的平均票价

fig, ax=plt.subplots(1,2,figsize=(15,4))
train_data['Fare'].hist(bins=70, ax = ax[0])
train_data.boxplot(column='Fare', by='Pclass', showfliers=False,ax = ax[1])
# 查看票价分布情况

fare_not_survived = train_data['Fare'][train_data['Survived'] == 0]
fare_survived = train_data['Fare'][train_data['Survived'] == 1]
# 基于票价，筛选出生存与否的数据
average_fare = pd.DataFrame([fare_not_survived.mean(),fare_survived.mean()])
std_fare = pd.DataFrame([fare_not_survived.std(),fare_survived.std()])
average_fare.plot(yerr=std_fare,kind='bar',legend=False,figsize = (15,4),grid = True)
# 查看票价与是否生还的关系
plt.tight_layout()

# 结合出发地的情况，研究出发地点与存活的关系
#大多数乘客登上南安普敦。 南安普敦的溺水乘客比例最大。
#从瑟堡出发的乘客，其中50％以上存活（在训练数据集中）。
#皇后镇出发的乘客中，绝大多数是三等舱乘客。

fig = plt.figure(figsize = (15,4))

ax1 = fig.add_subplot(131)
palette = sns.cubehelix_palette(5, start = 2)
ax = sns.countplot(train_data['Embarked'], palette = palette, order = ['C', 'Q', 'S'], ax = ax1)
plt.title('不同港口出发的乘客分布情况')
plt.ylabel('乘客数')


labels = (train_data['Embarked'].value_counts())
labels = labels.sort_index()

for i, v in enumerate(labels):
    ax.text(i, v+10, str(v), horizontalalignment = 'center', size = 10, color = 'black')
    

ax2 = fig.add_subplot(132)
surv_by_emb = train_data.groupby('Embarked')['Survived'].value_counts(normalize = True)
surv_by_emb = surv_by_emb.unstack().sort_index()
surv_by_emb.plot(kind='bar', stacked='True', color=["#3f3e6fd1", "#85c6a9"], ax = ax2)
plt.title('不同港口出发的乘客存活情况')
plt.legend(( 'Drowned', 'Survived'), loc=(1.04,0))
_ = plt.xticks(rotation=False)


ax3 = fig.add_subplot(133)
class_by_emb = train_data.groupby('Embarked')['Pclass'].value_counts(normalize = True)
class_by_emb = class_by_emb.unstack().sort_index()
class_by_emb.plot(kind='bar', stacked='True', color = ['#eed4d0', '#cda0aa', '#a2708e'], ax = ax3)
plt.legend(('1st class', '2nd class', '3rd class'), loc=(1.04,0))
plt.title('不同港口出发的乘客的船舱等级分布')
_ = plt.xticks(rotation=False)

plt.tight_layout()

总结:

我们知道泰坦尼克号上没有足够的船只可供所有乘客撤离。 在研究了有关乘客的信息之后，我们可以对谁在沉船事故中有更好的生存机会以及对乘客的
一般观察做出一些假设。

1、数据集中有891名乘客，其中有549名（61.6％）被淹，只有342名（38.4％）幸存。 但是我们知道，救生艇（16艘木质救生艇和4辆可折叠救生艇）
可以载运总乘客的53％。

2、所有乘客的年龄从0.17年到80岁不等，平均为29.88岁。 幸存乘客的平均年龄为28.23，比溺水乘客的平均年龄（仅我们知道幸存者的年龄）小2.39。
看起来年轻人有更大的生存机会。

3、船上的家庭人数似乎也对生存机会有影响：有两个大家庭，分别为8和11，他们来自训练数据集的所有成员都被淹死了。 我们可以观察到，拥有2人，
3人，4人家庭的幸存者所占百分比大于单身人士，然后，随着家庭规模的增加，幸存者所占的百分比会降低。

4、泰坦尼克号的大部分乘客都是三等舱。 就乘客人数而言，第二类是最小的。 尽管有先前确定的先决条件（平均而言，老年人死亡的可能性更高，
并且头等舱的平均年龄比其他舱位更高。而且，由100％头等舱组成的A层乘客的 溺水乘客的比例很高），头等舱的幸存者人数最多，而舱内幸存者的
比例最大。

5、三等舱机票的溺水乘客人数最多。但是，大多数头等舱的男性乘客被淹死，而女性几乎全部幸存下来。 三等舱，一半的女性得以幸存。

6、船上的男性总体上比女性多，这对每个舱位来说都是公平的，但是在三等舱中，男性的数量是女性的两倍多。

7、几乎有600名男性旅客没有家庭成员，只有200名女性，但是在普通家庭和大家庭中，女性旅客略多。

8、大多数乘客（914）登上南安普敦。 此外，南安普敦的溺水乘客比例最大。 270名乘客登上瑟堡，其中50％以上幸存下来（在培训数据集中）。 
皇后镇（Queenstown）出发的旅客有123人，其中绝大多数是三等舱旅客。

9、泰坦尼克号幸存者分析是机器学习的入门案例，我做了一点资料的查询发现有一些是数据无法体现的，不得不说单从数据的角度还原当时情况
实在有很多不妥的地方，原因有以下几点：

(1)三等舱乘客中相当一部分是不懂英语的，看不懂路标指示，听不懂船员的指令。这一因素与社会地位无关。

(2)爱德华·约翰·史密斯船长在最后时刻下令“妇孺优先”，但是大副、二副对该命令的执行是不一致的，右舷大副默多克认为如果甲板上没有
女士儿童了，只要还有空位，男性乘客也可以登艇。所以从右舷放下的九艘救生艇上都有男性乘客，救生艇的乘坐率也比较高，其中有三艘满员。
而在左舷的二副莱托勒则把“女士和儿童优先”理解为“全船的女士和儿童都应当先于男性乘客登艇”。所以，左舷的救生艇其实是
“仅限女士和儿童”。从左舷放下的九艘救生艇中，只有三艘乘坐率略超过六成。

(3)考察头等舱幸存男性，他们主要集中右舷最早放下的三艘救生艇中，第一艘救生艇，一半座位是空的，一半乘客是男性，主要原因是一开始多数人
都没有认识到被认为“永不沉没”的铁达尼所面临的的危险。第二艘、第三艘救生艇男性乘客也占了近三分之一。还有一个原因是，右舷的救生艇位置
距离头等舱近。

(4)有少部分人主动放弃等艇机会，这样行为无疑闪烁着人性光辉。

所以单从数据的角度得出的结论显然不足以说明当时的情况。电影《萨利机长》中，计算机的模拟还原的情况是飞机完全可以不必迫降在河面，
也是数字还原结果与现实的不符。所以只知道分析数据的分析师不是好的分析师，结合对业务的理解才是关键，数据是辅助。