[DACON/조아영] 파이썬을 이용한 EDA

Dacon 코드 공유에서 제공하고있는 코드들도 참고하였으나, 이해가 안되는 코드들은 과감하게 버리고 이해되는 부분만 파악해보았습니다.

---

# 사용할 라이브러리 불러오기
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

# 데이터 불러오기
train_df = pd.read_csv("./dataset/train.csv")
train_df

# 데이터의 총 행열 개수 확인
train_df.shape

# null값이 존재하는지 확인
train_df.isnull().sum()

null값은 존재하지 않았음

# 기본적인 데이터 정보들을 얻어냄
# 각 column별 데이터 타입도 얻을 수 있음
train_df.info()

 

# 각 열별 기초 통계량을 확인함
train_df.describe()

광도의 경우 값들이 지수표기법을 이용하여 기초통계량이 나타나는 경우도 있음

(https://seulcode.tistory.com/461 - 지수표기법 설명 참고)

 

지수표기법이란?

10의 제곱수를 간단히 표현하는 방법이다.

 

e+0n 인 경우 소숫점 위로 n+1자리 수라는 의미로, 4.1e+03은 4100을 의미한다.

 

e-0n인 경우 소숫점 아래로 n자리라는 의미로 4.1e-0.4는  0.0041을 의미한다.

 

describe() 함수가 제공해주는 기초통계량은 다음과 같다.

count	null값을 제외한 총 데이터의 수
mean	평균값
std	표준편차
min	최솟값
25%, 50%, 75%	각각 데이터를 오름차순으로 정렬했을 때 초반의 25%, 중앙값, 75%값임 (하단의 이미지 참조)
max	최댓값

광도의 기초통계량들을 봤을 때 평균값들은 17~22 사이의 값들을 가진다.

하지만 분산은 제각각이고, 최소 최대값들도 제각각이다.

25%, 50%, 75% 값들은 같은 column류(psfMag, fiberMag 등)끼리는 유사하다.

 

💡 Insight

1. 제각각인 값들을 정규화 해주면 어떨지 테스트 해보면 좋을 듯 하다.

 

2. 같은 column류들끼리 묶어서 시각화를 해보면 좋을 것 같다.

파장별 특징이 보이지 않을까?

 

# type 종류가 어떤 것이 있는지 알아보기
star_type = train_df['type'].unique()

print(len(star_type), star_type)

type은 총 19개로, 리스트 안의 요소들과 같이 구성이 되어있다.

train_df['type'].value_counts()

sns.countplot(y='type', data=train_df)

QSO와 Galaxy가 압도적으로 많았음

💡 Insight

1. Class의 불균형이 존재한다.

이를 어떻게 해결할 수 있을지 고민해봐야 할 것 같다.

num_col = ['fiberID', 'psfMag_u', 'psfMag_g', 'psfMag_r', 'psfMag_i',
       'psfMag_z', 'fiberMag_u', 'fiberMag_g', 'fiberMag_r', 'fiberMag_i',
       'fiberMag_z', 'petroMag_u', 'petroMag_g', 'petroMag_r', 'petroMag_i',
       'petroMag_z', 'modelMag_u', 'modelMag_g', 'modelMag_r', 'modelMag_i',
       'modelMag_z']

fig = plt.figure(figsize=(20, 30))

ax = fig.gca()

train_df[num_col].hist(ax=ax)
plt.show()

 

x축이 너무 극단적이여서 그런걸가?

그래프를 해석하는데 좀 어려움이 생긴 것 같다.

 

corr = train_df[num_col].corr(method = 'pearson')

fig = plt.figure(figsize = (16, 12))
ax = fig.gca()

sns.set(font_scale = 1.5)  # heatmap 안의 font-size 설정

heatmap = sns.heatmap(corr.values, annot = True, fmt='.2f', annot_kws={'size':15},
                      yticklabels = num_col, xticklabels = num_col, ax=ax, cmap = "RdYlBu")
                      
plt.tight_layout() # 여백 조절
plt.show()

변수들 간의 상관관계를 알아보자.

💡 Insight

1. 음의 상관관계가 나오는 변수가 몇가지 존재하며,

상관관계들이 무리지어 나타나는 것을 확인할 수 있다.

다만 구체적인 수치를 확인했을 때 상관관계 월등히 높은 것은 많지 않다.

 

2. 또한 신기한 점은 fiberID가 fiberMag들과 상관관계가 거의 없다고 나타나는 것이다.

for col in train_df.columns[2:]:
  plt.figure(figsize=(25,4))
  sns.boxplot(x='type',y=col,data=train_df)
  plt.title(col)
  plt.xticks(rotation=-30)
  plt.show()

각 type별로 다른 수치형 변수들과 어떤 관계가 있을지 boxplot을 그려봤다.

fiberID까지만 해도 예쁘게 잘 나왔다.

그 이후로는 이상치때문인지, y축의 범위때문인지.. 이상하게 나왔다.

 

위에서 봤던 히스토그램처럼 이상하다..

 

💡 Insight

전반적으로 이상치가 많진 않으나 간혹가다 -10000, -20000 등

극단적인 값들이 간간히 존재함을 알 수 있었다.

 

하지만 boxplot의 특징은 기초통계량을 깔끔하게 시각화해서 볼 수 있다는 장점이 있는데,

이를 볼 수 없어서 아쉽다.

이런 경우에는 어떻게 해야하는걸까...?

 

---

너무나도 부족한 EDA였다.

 

아무래도 EDA보다 모델링이 더 쉬운 것 같다.