[DACON/김규리] 파이썬을 이용한 EDA

jupyter notebook 환경에서 작업해봤습니다~

필요한 라이브러리 불러오기

#필요한 라이브러리 불러오기
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline                            
import seaborn as sns
color = sns.color_palette()
sns.set_style('darkgrid')
# 그래프 해상도 업그레이드
%config InlineBackend.figure_format = 'retina'
# 경고문 무시
import warnings
warnings.filterwarnings('ignore')

• %matplotlib inline의 의미
  • notebook을 실행한 브라우저에서 바로 그림을 볼 수 있게 해주는 것
• 사용할 라이브러리
  
  • pandas
  • seaborn
  • matplotlib
• import warnings?
  
  • jupyter notebook 상에서 경고 메세지 숨겨주기

데이터 살펴보기

#데이터 불러오기
train = pd.read_csv("C:/Users/jenny/train.csv")

#데이터 확인하기
train.head()

## 행/열 확인
print(train.shape)

(199991, 23)

 

#데이터 요약정보 확인하기
print(train.info())

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 199991 entries, 0 to 199990
Data columns (total 23 columns):
 #   Column      Non-Null Count   Dtype  
---  ------      --------------   -----  
 0   id          199991 non-null  int64  
 1   type        199991 non-null  object 
 2   fiberID     199991 non-null  int64  
 3   psfMag_u    199991 non-null  float64
 4   psfMag_g    199991 non-null  float64
 5   psfMag_r    199991 non-null  float64
 6   psfMag_i    199991 non-null  float64
 7   psfMag_z    199991 non-null  float64
 8   fiberMag_u  199991 non-null  float64
 9   fiberMag_g  199991 non-null  float64
 10  fiberMag_r  199991 non-null  float64
 11  fiberMag_i  199991 non-null  float64
 12  fiberMag_z  199991 non-null  float64
 13  petroMag_u  199991 non-null  float64
 14  petroMag_g  199991 non-null  float64
 15  petroMag_r  199991 non-null  float64
 16  petroMag_i  199991 non-null  float64
 17  petroMag_z  199991 non-null  float64
 18  modelMag_u  199991 non-null  float64
 19  modelMag_g  199991 non-null  float64
 20  modelMag_r  199991 non-null  float64
 21  modelMag_i  199991 non-null  float64
 22  modelMag_z  199991 non-null  float64
dtypes: float64(20), int64(2), object(1)
memory usage: 35.1+ MB
None

• object 형 
  • 'type'
• 숫자형
  • int64
    • 'id','fiberID'
  • float64
    • 이외 모두

-> 수치적 접근이 필요하겠구나~!

#id 컬럼 제거
train = train.drop(['id'], axis=1)
train.info()

• 판다스 컬럼 데이터 삭제 : .drop()
  •  axis=1 : 특정 컬럼 삭제, axis=0 : 특정 로우(인덱스) 삭제

#결측치 존재 여부 확인하기
## 결측치 존재 여부 확인 -> 없음
print(train.isnull().sum())

type          0
fiberID       0
psfMag_u      0
psfMag_g      0
psfMag_r      0
psfMag_i      0
psfMag_z      0
fiberMag_u    0
fiberMag_g    0
fiberMag_r    0
fiberMag_i    0
fiberMag_z    0
petroMag_u    0
petroMag_g    0
petroMag_r    0
petroMag_i    0
petroMag_z    0
modelMag_u    0
modelMag_g    0
modelMag_r    0
modelMag_i    0
modelMag_z    0
dtype: int64

• 판다스의 결측치 확인 함수: isnull().sum()
  • True or False
    • True :결측치 있음 -> 1
    • False :결측치 없음 -> 0
  • .sum()
    • isnull이 각 값에 대해 결측치 검사하기 때문에 sum()을 덧붙여 사용하여 컬럼별 결측치 총 합 확인

#기초통계량 확인하기
#flaot형 변수의 정보 확인하기
train.describe(include='float64')

• mean
  • 평균
• std
  • 표준편차, 퍼짐 정도
• 알 수 있는 점
  • 평균
    • 'psfMag_u'만 음수의 값 도출됨
    • 그외의 컬럼은 대개 17~22 사이의 값
    • 'fiberMag_u'의 경우 1점대의 값
    • => 파장이 자외선일 때의 특징인가 싶었지만 다른 컬럼의 xxx_u값은 아니었음
  • 아직 이러한 수치들로는 뚜렷한 데이터 상의 특징 파악 어려움

컬럼별 살펴보기

 

#한 가지 값만 존재하는 컬럼 찾기 --> 없음

one_value_columns = []

for i in train.columns[2:]:
    if len(train[i].value_counts()) < 2:
        one_value_columns.append(i)

print(len(one_value_columns))
print(one_value_columns)

0
[]

#컬럼들의 관계 파악하기
## 'type' 컬럼 제외하고 히트맵 그리기
plt.figure(figsize=(15, 8))
sns.heatmap(train.drop(['type'], axis=1).corr(), annot=True)

• figsize
  • 가로, 세로 길이 설정
• corr()
  • 상관관계

그다지 두드러지는 특징 없어보임

fiberID

 

#fiberID
#종류별 개수 파악 
train['fiberID'].value_counts()

 

fiberID
624    373
122    371
618    370
350    369
14     365
      ... 
809     11
807     11
737     10
991     10
853      9
Name: count, Length: 1000, dtype: int64

• 좌측 열의 값: 값들의 종류
• 우측 열의 값: 각 값들의 개수

-> 종류도 많을 뿐더러, 유의미하지 않을 것 같아 시각화 불필요하다고 판단

 

type

 

#천체 유형별 개수 파악
train['type'].value_counts()

type
QSO                    49680
GALAXY                 37347
SERENDIPITY_BLUE       21760
SPECTROPHOTO_STD       14630
REDDEN_STD             14618
STAR_RED_DWARF         13750
STAR_BHB               13500
SERENDIPITY_FIRST       7132
ROSAT_D                 6580
STAR_CATY_VAR           6506
SERENDIPITY_DISTANT     4654
STAR_CARBON             3257
SERENDIPITY_RED         2562
STAR_WHITE_DWARF        2160
STAR_SUB_DWARF          1154
STAR_BROWN_DWARF         500
SKY                      127
SERENDIPITY_MANUAL        61
STAR_PN                   13
Name: count, dtype: int64

fig = plt.figure(figsize=(18,9))
plt.subplots_adjust(hspace=.5)

plt.subplot2grid((3,3), (0,0), colspan = 3)
train['type'].value_counts()[:100].plot(kind='bar', alpha=0.7)
plt.title('train_data : type values')

• QSO는 뭔데 가장 많이 관측됐을까?
  • 먼 거리에서 발견되는 매우 활동적인 초대질량 블랙홀
  •  우주에서 가장 밝은 단일 천체 중 하나이며 그 밝기는 최대 태양의 700조 배에 달하기도 함
  • 가시광선 뿐만 아니라 모든 파장에서 막대한 에너지를 뿜어내고..

psfMag

fig, ax = plt.subplots(nrows=2)

sns.distplot(train['psfMag_g'], ax=ax[0])
sns.distplot(train['psfMag_r'], ax=ax[1])

- > 실선 그래프는 의미가 없는 것 같아서 값들의 전체적인 분포를 살펴보기 위해서 산점도 그래프에 도전

sns.set_style('whitegrid')
y = train['psfMag_u'].value_counts()
sns.scatterplot(data= train, x='psfMag_u', y=y)

아무것도 안 나왔다..

여기까지 했습니다,,, ㅠ.,ㅠ

 

출처

- [Dacon/python] 제주도 도로 교통량 예측 (velog.io)

[Dacon/python] 제주도 도로 교통량 예측

- My first EDA (천체 유형 분류) - DACON

My first EDA (천체 유형 분류)

- 이외에 판다스 , 맷플롭, 씨본의 함수 및 인자 탐색을 위해 참고한 여러 가지의 글들..