[WIDA] 1학년조_2차 보고서

주제: 타이타닉 승객들의 생존률과 속성들간의 관계 분석

 

현재 진행 상황

 

---

*Colab을 사용해 작업함

[데이터 전처리]

필요한 모듈 및 데이터 불러오기

import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')

#Colab에 한국어 폰트를 불러옴
import matplotlib.font_manager as fm  

!apt-get update -qq         
!apt-get install fonts-nanum* -qq 

fe = fm.FontEntry(fname=r'/usr/share/fonts/truetype/nanum/NanumGothic.ttf', name='NanumGothic')
fm.fontManager.ttflist.insert(0, fe)  
plt.rcParams.update({'font.size': 10, 'font.family': 'NanumGothic'})

 

1. 데이터 확인

df = pd.read_csv('train.csv')
df

• Survived - 생존유무, target 값. (0 = 사망, 1 = 생존)
• Name - 탑승객 성명
• Pclass - 티켓 클래스. (1 = 1st, 2 = 2nd, 3 = 3rd)
• Sex - 성별
• Age - 나이(세)
• SibSp - 함께 탑승한 형제자매, 배우자 수 총합
• Parch - 함께 탑승한 부모, 자녀 수 총합
• Embarked - 탑승 항구
• Fare - 탑승 요금
• Ticket - 티켓 넘버
• Cabin - 객실 넘버

여기서 PassengerId는 승객의 번호이므로 생존유무와 연광성이 없어보입니다.

 

df.info()

#데이터 모양 확인
df.shape

#결측치 확인
df.isnull().sum()

#null이 차지하는 비중
df.isnull().mean()

 

Age, Cabin, Embarked 항목에 결측치가 있는 것을 확인할 수 있습니다.

특히 Cabin의 결측치가 상당히 많이 존재해 유의미한 컬럼이 되지 못할 것 같아 해당 컬럼을 제거하겠습니다.

 

2. Cabin 결측치 처리

# Cabin열 제거
new_df = df.copy()
new_df = new_df.drop(['Cabin'],axis=1) # 세로 열 제거

 

이제 Age, Embarked 항목의 결측치를 채워보겠습니다.

 

3. Age 결측치 처리

#Age 시각화(1)(결측치 제외)
sns.boxplot(y='Age', data = new_df)

##Age 시각화(2)(결측치 제외)
sns.displot(data=new_df, x='Age', kind='kde')

 

Age 데이터의 값이 다양하고 평균값을 사용하기엔 이상치가 많습니다.

따라서 결측치를 중앙값으로 대체하겠습니다. 

# Age 결측치, 중앙값으로 대체
age_median = np.nanmedian(new_df["Age"])
new_df['Age'].fillna(age_median,inplace=True)

 

 

4. Embarked 결측치 처리

# Embarked 이름별 승객수
new_df['Embarked'].value_counts()

 

Null 값이 2개이고, 'S'에 가장 많은 탑승객이 있으므로 간단하게 최빈값인 "S"로 결측치를 채우겠습니다.

# Embarked 결측치, 최빈값 S로 채우기
new_df['Embarked'].fillna('S',inplace=True)

 

#결측치 확인
new_df.isnull().sum()

 

[데이터 시각화]

1. Survived

#생존 비율
fig, ax = plt.subplots(1, 2, figsize=(14,5))
labels = ['사망', '생존']
colors=['gray','red']

new_df['Survived'].value_counts().plot.pie(ax=ax[0], explode=[0,0.1], shadow=True, autopct='%1.1f%%', labels=labels, colors=colors, title="생존비율")
ax[0].set(ylabel='')
plt.title('생존 비율')


survived_counts = new_df['Survived'].value_counts()
plt.bar(survived_counts.index, survived_counts.values, color=['gray', 'red'])

plt.title('사망자 및 생존자 수')
plt.xticks(survived_counts.index, labels)
plt.ylabel('Count')

plt.show()

 

 

사망 비율은 61.6%, 생존 비율은 38.4%로 사망한 탑승객의 수가 더 많은 것이 확인됩니다.
300명 이상이 생존하고, 600명 가까이 사망한 것으로 보입니다.

 

2. Survived과 다른 속성과의 관계

 

2-1 Pclass

#Pclass 시각화_01_클래스 별 탑승수 및 생존/사망 수
fig, axes = plt.subplots(1, 2, figsize=(12, 5))

axes[0].set_title("클래스별 탑승수 \n", size=15)
sns.countplot(data=new_df, x='Pclass', ax=axes[0], alpha = 0.7, palette=['blue'])

axes[1].set_title("클래스별 생존/사망 수 \n", size=15)
sns.countplot(x="Pclass", hue="Survived", data=new_df, ax=axes[1], alpha = 0.7, palette= ['gray','red'])
axes[1].legend(labels = ['사망', '생존'])

 

3등석 탑승객이 가장 많고, 3등석 탑승객의 사망 인원수 또한 가장 많습니다.
상대적으로 1등석 탑승객들은 많이 살아남은 것으로 보입니다.

 

#Pclass 시각화_02_등급별 생존 비율

fig, ax = plt.subplots(1,2,figsize=(10,4), constrained_layout=True)
colors=['royalblue','tomato','limegreen']
explode=[0.01,0.01,0.01]
labels = ['1등석', '2등석', '3등석']


#Survived 가 0인 데이터를 이용한 Pie Plot
new_df[new_df['Survived'] == 0]['Pclass'].value_counts().sort_index().plot.pie(ax=ax[0], autopct='%1.1f%%',colors=colors,explode=explode,labels=labels)
ax[0].set(ylabel='', title='사망 비율 - Pclass')

#Survived 가 1인 데이터를 이용한 Pie Plot
new_df[new_df['Survived'] == 1]['Pclass'].value_counts().sort_index().plot.pie(ax=ax[1], autopct='%1.1f%%',colors=colors,startangle=45,explode=explode, labels=labels)
ax[1].set(ylabel='', title='생존 비율 - Pclass')

plt.show()


#사망한 탑승객 그래프에서 3등석의 비율이 67.8%로 압도적으로 높다.

 

사망한 탑승객 그래프에서 3등석의 비율이 67.8%로 압도적으로 높습니다.

 

2-2 Name

#2 Name_호칭만 떼어 새로운 열 생성
for i in range(len(new_df["Name"])):
    tmp = new_df["Name"][i].split(',')[1][1:]
    title = tmp.split('.')[0]
    new_df.loc[i, 'Title'] = title

new_df['Title'].value_counts()

 

• Mr (Mister) : "종족"이나 "지위"를 나타내며, 성인 남성에게 사용되는 일반적인 호칭입니다.
  결혼 여부에 상관없이 사용됩니다.
• Mrs (Missus): 결혼한 여성에게 사용되는 호칭으로, 그녀의 남편의 성을 따라 사용됩니다.
  "Missus"는 발음상 "미시즈"로 알려져 있습니다.
• Ms : 결혼 여부를 나타내지 않는 여성에게 사용되는 호칭입니다. "미스"와 "미세즈" 사이의 발음으로,
  여성이 자신의 결혼 상태를 강조하고 싶지 않을 때 주로 사용됩니다.
• Master: 주로 남자 어린이에게 사용되는 호칭으로, 성인이 되기 전까지 사용됩니다.
• Dr : 박사
• Rev : 신부님 (=Mr)
• Mlle : 어린 여자 아이 (Mademoiselle) (=Miss)
• Major : 군인이나 군사적인 경험이 있는 사람 (=Mr)
• Col : 중령 (=Mr)
• the Countess : 백작 부인 (=Mrs)
• Capt : 군 장교 (=Mr)
• Ms : Miss (=Miss)
• Sir : 남성 공손한 표현 (=Mr)
• Lady : 여성 공손한 표현 (=Miss)
• Mme : Mrs 프랑스어 (=Mrs)
• Don : 스페인어로 지위 높은 남성 (=Mr)

여러 호칭들을 다 Mr, Mrs, Ms, Master로 다 수정하겠습니다.

여기서 성별이 명확하지 않은 호칭인 "Dr"만 따로 확인해 수기로 바꿔주겠습니다.

 

new_df[new_df['Title']=='Dr']

#"Dr"에서 성별이 여성인 행만 수기로 "Miss"로 변경
new_df.loc[796,"Title"] = "Miss"

#타이틀 맵핑 진행
title_map = {"Mr":"Mr", "Miss":"Miss", "Mrs":"Mrs", "Master":"Master", "Dr":"Mr", "Rev":"Mr", "Mlle":"Miss",
             "Major":"Mr", "Col":"Mr", "the Countess":"Mrs", "Capt":"Mr", "Ms":"Miss", "Sir":"Mr",
             "sir":"Mr", "Lady":"Miss", "Mme":"Mrs", "Don":"Mr", "Jonkheer":"Mr"}

new_df['Title'] = new_df['Title'].map(title_map)

#Name 시각화_01_호칭별 생존/사망 수
import matplotlib.patches as mpatches

survived = new_df[new_df['Survived'] == 1].groupby('Title').size()
dead = new_df[new_df['Survived'] == 0].groupby('Title').size()


labels = ['Mr', 'Master', 'Mrs', 'Miss']
survived_colors = ['blue', 'blue', 'red', 'red']

survived_ordered = survived.reindex(labels, fill_value=0)
dead_ordered = dead.reindex(labels, fill_value=0)

x = np.arange(len(labels))
width = 0.35
fig, ax = plt.subplots()

rects1 = ax.bar(x - width/2, survived_ordered, width, label='Survived', alpha=0.6, color=survived_colors)
rects2 = ax.bar(x + width/2, dead_ordered, width, label='Dead', color='gray')

handles = [mpatches.Patch(color='gray', label='Dead'),
           mpatches.Patch(color='blue', label='Male_Survived'),
           mpatches.Patch(color='red', label='Female_Survived')]
ax.legend(handles=handles)
ax.set_xticks(x)
ax.set_xticklabels(labels)
ax.set_ylabel('Count')
ax.set_title('호칭별 생존/사망 수 \n')

fig.tight_layout()
plt.show()

 

여성의 호칭인 Mrs/Miss 둘다 생존자 수가 많습니다.
Mr의 사망자 수가 압도적으로 많습니다.
Master은 절반 정도의 생존율을 보입니다.

 

2-3 Sex

#Sex 시각화_01_탑승수 막대 그래프
plt.figure(figsize=(8, 6))
sns.countplot(data=new_df, x='Sex', alpha=0.7, palette= ['blue','red'])
plt.title('성별 탑승자 수')
plt.show()

남성 탑승자가 여성 탐승자 수보다 약 2배 더 많습니다.

 

#Sex 시각화_02_성별별 생존/사망 수
survived = new_df[new_df['Survived'] == 1].groupby('Sex').size()
dead = new_df[new_df['Survived'] == 0].groupby('Sex').size()

labels = ['Male', 'Female']

x = np.arange(len(labels))
width = 0.35

fig, ax = plt.subplots()

rects1 = ax.bar(x - width/2, survived[::-1], width, label='Survived', alpha=0.6, color=['blue', 'red']) # male 생존자는 파란색, female 생존자는 빨간색
rects2 = ax.bar(x + width/2, dead[::-1], width, label='Dead', color='gray')

handles = [mpatches.Patch(color='gray', label='Dead'),
           mpatches.Patch(color='blue', label='Male_Survived'),
           mpatches.Patch(color='red', label='Female_Survived')]

ax.legend(handles=handles)
ax.set_xticks(x)
ax.set_xticklabels(labels)
ax.set_ylabel('Count')
ax.set_title('성별별 생존/사망 수 \n')

fig.tight_layout()
plt.show()

 

남성 탑승자가 여성 탐승자 수보다 약 2배 더 많습니다.

여성 탑승자의 생존률이 남성 탑승자의 생존률보다 높은것을 확인할 수 있습니다.

 

#성별 시각화_03_성별 생존/사망자 수

fig, ax = plt.subplots(1,2,figsize=(10,6), constrained_layout=True)
labels = ['여성', '남성']
colors=['tomato', 'royalblue']
explode=[0.01,0.01]

#Survived 가 0인 데이터를 이용한 Pie Plot
new_df[new_df['Survived'] == 0]['Sex'].value_counts().sort_index().plot.pie(ax=ax[0], autopct='%1.1f%%', labels=labels,colors=colors, explode=explode)
ax[0].set(ylabel='', title='사망 - Sex')

#Survived 가 1인 데이터를 이용한 Pie Plot
new_df[new_df['Survived'] == 1]['Sex'].value_counts().sort_index().plot.pie(ax=ax[1], autopct='%1.1f%%', labels=labels,colors=colors, explode=explode)
ax[1].set(ylabel='', title='생존 - Sex')

plt.show()

 

 

원그래프로 비율을 확인하면 두 성별의 사망률이 더욱 확연하게 차이가 납니다.

 

2-3-2 Pclass와 Sex

#Pclass&Sex 시각화
pd.crosstab([new_df.Sex,new_df.Survived],new_df.Pclass,margins=True).style.background_gradient(cmap='summer_r')

 

#Pclass&Sex 시각화_2

sns.catplot(x='Pclass',y="Survived",hue='Sex',data=new_df,kind='point', palette={'female': 'red', 'male': 'blue'})
plt.title('Sex와 Pclass의 생존률 상관 관계\n'  , fontsize=16)
plt.xlabel('Pclass', fontsize=12)
plt.ylabel('Survived', fontsize=12)
plt.show()

 

1등급 객실의 여성이 제일 생존자가 많은 것으로 확인됩니다.
반대로 3등급 객실의 남성이 제일 사망자가 많습니다.

1등석에 있던 탑승객이 성별에 상관없이 다른 클래스에 비해 상대적으로 많이 생존했다는 것을 알 수 있습니다.
클래스에 관계없이 여성의 생존률이 높은 것이 확인됩니다.

 

2-4 Age

#Age_시각화 (stack, 히스토그램)
plt.figure(figsize=(8, 5))
sns.histplot(data=new_df, x='Age', hue='Survived', multiple='stack', kde=False, bins=20, palette={0: 'red', 1: 'blue'})
plt.title('Age vs Survived', fontsize=16, weight='bold')
plt.xlabel('Age', fontsize=12)
plt.ylabel('Count', fontsize=12)
plt.grid(True, which='major', linestyle='--', linewidth=0.5)
plt.show()

 

 

20-30대 승객이 가장 많습니다.

어린 승객(0-10세)의 생존율이 높습니다.
: 그래프 왼쪽에서 볼 수 있듯이, 0-10세 구간에서 파란색(생존자)이 빨간색(사망자)보다 많은 것을 알 수 있습니다. 30대 이후 생존률 감소: 30대 이후부터는 파란색 부분이 상대적으로 적어지고 빨간색이 지배적인 모습을 보입니다. 고령 승객의 사망률 높음: 60대 이상의 탑승자들은 매우 적지만, 대부분 사망한 것을 확인할 수 있습니다.

 

#Age_시각화2
age_range_survival_ratio = []

# 1살 부터 생존율 구하기
for i in range(1,80):
    age_range_survival_ratio.append(new_df[new_df['Age'] < i]['Survived'].sum() / len(new_df[new_df['Age'] < i]['Survived']))

plt.figure(figsize=(7,7))
plt.plot(age_range_survival_ratio)
plt.title('Age vs Survival Rate')
plt.ylabel('Survived Rate')
plt.xlabel('Age')

plt.show()

 

타이타닉 사고 당시 나이가 어릴수록 생존 가능성이 높았고, 특히 어린이들의 생존율이 매우 높았다는 것을 보여줍니다. 

 

2-5 Sibsp

pd.crosstab(new_df.SibSp, new_df.Survived, margins=True).style.background_gradient(cmap='summer_r')

 

sns.barplot(x='SibSp', y='Survived', data=new_df,palette='Blues_d').set_title('SibSp vs Survived')
plt.show()

 

그래프를 통해 SibSp가 1인 경우 생존율이 53.58%로 가장 높고, 가족 수가 많을수록 생존율이 낮아지는 경향을 확인할 수 있습니다. 

 

2-6 parch

pd.crosstab(new_df.Parch, new_df.Survived).style.background_gradient(cmap='summer_r')

new_df[['Parch', 'Survived']].groupby(['Parch']).mean()

sns.barplot(x='Parch', y='Survived', data=new_df,palette='Purples_d').set_title('Parch vs Survived')
plt.show()

 

Parch가 1에서 3일 때 생존률이 가장 높으며, Parch가 0일 때는 생존률이 약 34%로 상대적으로 낮아집니다. Parch가 4 이상일 때 생존률이 급격히 떨어지는 것으로 나타났습니다.

 

2-6-2 Sibsp와 parch

# 시각화: SibSp vs Survived
plt.figure(figsize=(14, 6))

# SibSp 막대 그래프
plt.subplot(1, 2, 1)
sns.barplot(data=sibsp_survived.reset_index(), x='SibSp', y='Survival Rate', palette='coolwarm')
plt.title('SibSp vs Survival Rate', fontsize=16)
plt.xlabel('SibSp (Number of Siblings/Spouses)', fontsize=12)
plt.ylabel('Survival Rate', fontsize=12)
plt.xticks(rotation=0)
plt.grid(axis='y')

# Parch 막대 그래프
plt.subplot(1, 2, 2)
sns.barplot(data=parch_survived.reset_index(), x='Parch', y='Survival Rate', palette='coolwarm')
plt.title('Parch vs Survival Rate', fontsize=16)
plt.xlabel('Parch (Number of Parents/Children)', fontsize=12)
plt.ylabel('Survival Rate', fontsize=12)
plt.xticks(rotation=0)
plt.grid(axis='y')

plt.tight_layout()
plt.show()

 

SibSp(형제/자매 수)와 Parch(부모/자녀 수) 간의 관계는 유사한 경향을 보입니다.

두 변수 모두 생존률에 영향을 미치며, 가족과 함께 탑승한 승객은 구조될 가능성이 높았습니다.

SibSp가 1~2일 때 생존률이 높아지고, 0일 경우 생존률이 감소합니다. Parch도 비슷하게, 1에서 3일 때 생존률이 높지만, 0일 때는 약 34%로 낮아지며, 4 이상일 때는 생존률이 급격히 감소합니다.

 

2-7 Ticket

#Ticket 시각화
ticket_survival = new_df.groupby('Ticket')['Survived'].mean().reset_index()
ticket_pivot = ticket_survival.pivot(index='Ticket', columns='Survived', values='Survived')
plt.figure(figsize=(12, 8))
sns.heatmap(ticket_pivot, cmap="YlGnBu", annot=True, fmt=".2f")
plt.title('Survival Rate by Ticket')
plt.xlabel('Ticket')
plt.ylabel('Survival Rate')
plt.show()

티켓의 번호가 너무 많고 다양해 시각화를 통해 생존율과의 상관관계를 분석하기에 적합한 변수는 아닌듯합니다.

 

2-8 Fare

#Fare 시각화_01
plt.figure(figsize=(10, 6))
sns.distplot(df[df['Survived'] == 1]['Fare'], label='Survived', hist=False, kde=True, color='blue')
sns.distplot(df[df['Survived'] == 0]['Fare'], label='dead', hist=False, kde=True, color='red')
plt.title('Survival by Fare')
plt.xlabel('Fare')
plt.ylabel('Density') #생존자,사망자의 밀도 파악
plt.legend()
plt.show()

0~50 사이의 Fare 구간:
사망자와 생존자의 밀도가 이 구간에서 가장 높습니다.
특히 요금이 매우 낮은 구간에서 사망자가 많이 집중된 것을 확인할 수 있습니다.
즉 요금이 낮았던 3등석 승객들이 주로 사망했음을 시사합니다.

50~150 사이의 Fare 구간:
생존자의 밀도가 사망자보다 상대적으로 높아집니다.
비교적 높은 금액을 낸 승객들이 생존할 확률이 더 높았음을 의미합니다.

150 이상의 Fare 구간:
생존자의 밀도가 매우 작지만 여전히 나타남. 1등석 승객들이 생존할 가능성이 높았음을 보여줍니다.

 

2-9 Embarked

Embarked 시각화_01
plt.figure(figsize=(10, 6))
sns.barplot(x='Embarked', y='Survived', data=new_df)
plt.title('Survival Rate by Embarked')
plt.ylabel('Survival Rate')
plt.xlabel('Embarked')
plt.show()

 

S항구, Q항구, C항구 순으로 생존율이 높아집니다.

 

2-9-2 Pclass& Embarked

Pclass&Embarked 시각화
Pclass1 = new_df[new_df['Pclass']==1]['Embarked'].value_counts()
Pclass2 = new_df[new_df['Pclass']==2]['Embarked'].value_counts()
Pclass3 = new_df[new_df['Pclass']==3]['Embarked'].value_counts()

fig, ax = plt.subplots(figsize=(10,6))
df = pd.DataFrame([Pclass1, Pclass2, Pclass3])
df.index = ['1st class','2nd class','3rd class']
df.plot(kind='bar', stacked=True, ax=ax)
plt.xticks(rotation=45)
plt.xlabel('Class')
plt.ylabel('Count')
plt.title('Class Distirbution in Embarked')
plt.show()

생존율이 가장 낮은 S항구에 3클래스가 가장 많이 분포합니다.
반대로 생존율이 가장 높은 C항구에 1클래스가 가장 많이 분포합니다.

 

3. 각 속성 간의 상관관계

train_heat=pd.read_csv("/content/train.csv")

train_heat['Sex'] = train_heat['Sex'].replace('male',0)
train_heat['Sex'] = train_heat['Sex'].replace('female',1)

train_heat['Embarked'] = train_heat['Embarked'].fillna("S")

train_heat.loc[train_heat.Embarked == 'C','Embarked']=0
train_heat.loc[train_heat.Embarked == 'Q','Embarked']=1
train_heat.loc[train_heat.Embarked == 'S','Embarked']=2
train_heat['Embarked'] = train_heat['Embarked'].astype('int64')

age_median = np.nanmedian(train_heat["Age"])
train_heat['Age'].fillna(age_median,inplace=True)

for i in range(len(train_heat["Name"])):
    tmp = train_heat["Name"][i].split(',')[1][1:]
    title = tmp.split('.')[0]
    train_heat.loc[i, 'Title'] = title

train_heat['Title'].value_counts()

train_heat.loc[796,"Title"] = "Miss"

title_map = {"Mr":"Mr", "Miss":"Miss", "Mrs":"Mrs", "Master":"Master", "Dr":"Mr", "Rev":"Mr", "Mlle":"Miss",
             "Major":"Mr", "Col":"Mr", "the Countess":"Mrs", "Capt":"Mr", "Ms":"Miss", "Sir":"Mr",
             "sir":"Mr", "Lady":"Miss", "Mme":"Mrs", "Don":"Mr", "Jonkheer":"Mr"}

train_heat['Title'] = train_heat['Title'].map(title_map)

train_heat.loc[train_heat.Title == 'Mr','Title']=0
train_heat.loc[train_heat.Title == 'Miss','Title']=1
train_heat.loc[train_heat.Title == 'Mrs','Title']=2
train_heat.loc[train_heat.Title == 'Master','Title']=3
train_heat['Title'] = train_heat['Title'].astype('int64')

train_heat = train_heat.drop('PassengerId', axis=1)

def category_age(x):
    if x < 10:
        return 0
    elif x < 20:
        return 1
    elif x < 30:
        return 2
    elif x < 40:
        return 3
    elif x < 50:
        return 4
    elif x < 60:
        return 5
    elif x < 70:
        return 6
    else:
        return 7

train_heat['Age'] = train_heat['Age'].apply(category_age)

train_heat['Survived'] = pd.to_numeric(train_heat['Survived'], errors='coerce')
corr = train_heat.corr(numeric_only=True)
sns.heatmap(corr, annot=True, cmap='coolwarm')
plt.title('각 속성 간의 상관관계\n')

plt.show()

높은 상관관계를 갖는 것

Fare, Pclss
Title, Sex
Sex, Survived 
Pclass, Survived 
Title, Survived
Age, Pclass
Parch, SibSp