[DACON/김경은] 프로젝트 에세이

EDA (Exploratory Data Analysis)

라이브러리 불러오기

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

데이터 불러오기 

train = pd.read_csv("C:/Users/twink/Documents/카카오톡 받은 파일/train.csv")
test = pd.read_csv("C:/Users/twink/Desktop/test.csv")
sub = pd.read_csv("C:/Users/twink/Desktop/sample_submission.csv")

 

데이터를 불러와서 어떤 형태의 데이터가 있는지 살펴보기

• shape 확인하기

#행과 열의 개수
print(train.shape)
print(test.shape)

train.columns

test.columns

train 과 test 의 columns 설명

psfMag, fiberMag, petroMag, modelMag

• psfMag : 먼 천체를 한 점으로 가정하여 측정한 빛의 밝기
• fiberMag : 3인치 지름의 광섬유를 사용하여 광스펙트럼을 측정한다. 광섬유를 통과하는 빛의 밝기
• petroMag : 은하처럼 뚜렷한 표면이 없는 천체에서는 빛의 밝기를 측정하기 어렵다. 천체의 위치와 거리에 상관없이 빛의 밝기를 비교하기 위한 수치
• modelMag : 천체 중심으로부터 특정 거리의 밝기

Mag - magnitudes (광도 : 광원에서 나오는 빛의 밝기와 관계되는 것, 가시광선의 색깔에 따른 사람 눈의 감도를 고려해서 파장에 따른 가중치를 주어서 얻는 값)

 

파장대

u : Ultraviolet 자외선

g : Green 가시광선의 초록색 부분

r : Red 가시광선의 빨간색 부분

i : Near Infrared 근적외선 (적외선 중 하나)

z : Infrared 적외선

 

자외선 : 파장이 10~400nm 범위인 전자파(EMR) 로 가시광 선과 X선 사이에 위치

근적외선 : 파장이 750-2500nm인 전자기 스펙트럼 내의 가시광선 에 인접한 적외선 복사

적외선 : 파장이 가시광선보다 길고 전파 보다 짧은 전자파

 

왜 u g r i z 파장대일까 ..  

ugriz 측광 시스템은 SDSS (Sloan Digital Sky Survey) 와 함께 사용하기 위해 개발되었으며 SDSS 측광 시스템 이라고도 한다. 

 

pandas 의 메서드를 통한 간단한 탐색

• .head() : 상위 5개, 괄호 안에 숫자로 개수 변경 가능

train_data.head()

각 feature 에 대한 통합적인 정보 2가지

• .info() 
• .describe()

train.info()

각 feature에 있는 데이터에 몇 개의 null 이 있고, 각 데이터의 type을 확인할 수 있다.

object 는 수치형이 아닌 자료형으로 이해하면 된다. 대부분 string 이다.

이때 object 인 feature 는 대부분의 머신러닝 모델에 직접적인 입력 값으로 사용할 수 없으니 전처리 과정이 필요하다.

train.describe()

describe 를 사용하여 수치형 데이터의 통계값을 추출할 수 있고 이상치를 확인한다.

• count : 개수
• mean : 평균
• std : 표준 편차
• min : 최솟값
• 25% : 제 1사분위값
• 50% : 중앙값, 중위값
• 75% : 제 3사분위값
• max : 최대

결측치 확인

train.isna().sum()

• 결측치가 없는것을  알 수 있다.

 

type 시각화

• seaborn 사용하기
• seaborn 은 matplotlib 기반의 시각화 라이브러리로 통계 그래프를 그리기 위한 고급 인터페이스를 제공한다.

#라이브러리 호출
import seaborn as sns

plt.figure(figsize=(10,8))
sns.countplot(y=train['type'], order=train['type'].value_counts().index)
plt.show()

type 컬럼의 값들을 count 하여 막대그래프를 사용하여 내림차순으로 정렬하였다.

-> QSO 가 다른 클래스에 비해 월등히 높은 수치로 클래스 간의 심한 불균형 클래스를 가졌다.

 

 

 

fiberID 시각화

• fiberID 가 640 쯤이 되면서 부터 그 수가 확연히 줄어드는 것을 확인할 수 있었다. 

 

fiberID 가 640부터 수가 줄어드는 이유 알아보기

train.groupby('type')['fiberID'].max()

각 클래스별 최대값을 알아보았다. 

•  fiberID 가 QSO 를 제외하고 모두 640을 넘기지 않은 것을 확인할 수 있었다.
• 언더샘플링과 같은 방식으로 fiberID 가 640 이상 인것을 제외하면 QSO 데이터가 다른 클래스에 비해 월등히 높은 클래스 불균형을 해결할 수 있지 않을까 생각해보았다.

 

 

이상치 찾기

박스플롯을 사용하여 칼럼별 이상치를 시각화하여 확인하여 보았다.

for col in train.columns[3:]:
  plt.figure(figsize=(15,2))
  sns.boxplot(x='type',y=col,data=train)
  plt.title(col)
  plt.xticks(rotation=-30)
  plt.show()

코드출처 : [2등][JY!] 코드 공유

 

 

칼럼별로 극단값 또는 이상치값을 제거할 필요성이 보인다.

이상치가 많지 않지만 psfMag_u, petroMag_u 칼럼과 같이 눈에 띄는 극단값이 존재하는 칼럼도 보인다. 

그러나 아직 이상치 값인지에 대한 확인은 불가한 상태 

 

 

스케일링이나 feature engineering 을 위해 train 데이터셋과 test 데이터셋을 합쳐서 한번에 처리하고 데이터를 다시 나누어 큰 데이터셋으로 보았을때 이상치로 보이지 않는 데이터는 삭제하거나 가공하지 않는것이 좋다.

따라서 두개의 데이터셋을 합친뒤 이상치를 확인하여 보았다.

• train 데이터셋과 test 데이터셋 합친 후 이상치 확인하기 

total = pd.concat([train,test], axis=0)

for col in total.columns[3:]:
  plt.figure(figsize=(25,4))
  sns.boxplot(x='type',y=col,data=total)
  plt.title(col)
  plt.xticks(rotation=-30)
  plt.show()

total 데이터셋을 박스플롯을 통해 확인하였을때 train 데이터셋과 test 데이터셋의 이상치 분포가 거의 차이나지 않는 것을 확인할 수 있었다. 즉, train 데이터셋과 test 데이터셋의 분포가 거의 일치한다는 것을 예상해볼 수 있었다. 

 

 

따라서 test 데이터셋의 분포를 벗어나는 데이터를 train 데이터셋에서 삭제하여 극단값을 삭제하기로 하였다.

for col in train.columns[3:]:
    train = train[(train[col] > test[col].min()) & (train[col] < test[col].max())]

train 변수를 새로 할당하여 열의 값이 test 데이터셋의 최대값과 최소값 사이인 행만 유지하고 나머지 행은 제거하였다.

 

 

전처리 후의 박스플롯

 

 

 

LightGBM을 이용한 모델링

LightGBM 의 정의

Tree 기반 학습 알고리즘을 말한다.

Light GBM은 Tree가 수직적으로 확장되는 반면에 다른 알고리즘은 Tree가 수평적으로 확장됩니다, 즉 Light GBM은 leaf-wise 인 반면 다른 알고리즘은 level-wise 이다. 

장점으로는 대용량 데이터를 사용할 수 있고 속도가 빠르며 효율적으로 메모리를 사용한다.

단점으로는 과적합에 민감하여 작은데이터에는 사용하기 어렵다. 

 

 

 

데이터

train2 = train.copy()

전처리한 train 데이터셋을 train2로 새로 할당해 주었다. 

 

LGBM 모델 호출

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
import lightgbm as lgb

학습용 데이터와 검증용 데이터

# type과 나머지 데이터들을 분리해줌
X = train2.iloc[:, 2:]
y = train2.iloc[:, 1]

# 데이터셋 분할 (학습용 데이터와 검증용 데이터)
# training과 test의 비율은 0.3
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

 

LGBM 모델을 사용하기 위한 정수형 변환

column_number = {}
for i, column in enumerate(sub.columns):
    column_number[column] = i

def to_number(x, dic):
    return dic[x]

train2['type_num'] = train2['type'].apply(lambda x: to_number(x, column_number))

 

모델 구현 

lgb_clf = lgb.LGBMClassifier(num_leaves=34, objective='multiclass', max_depth=1)
lgb_clf.fit(X_train, y_train)
y_pred = lgb_clf.predict(X_test)

LightGBM 하이퍼파라미터 설정 : 파라미터가 100개가 넘기 때문에 대표적인 파라미터를 알아보고 설정하여 보았다. 

 

num_leaves: 전체 Tree의 leave 수 이고, 디폴트값은 31이다. 클수록 정확도는 높아지지만 오버피팅이 발생할 수 있다.

min_data_in_leaf: leaf가 가지고 있는 최소한의 레코드이며 클수록 오버피팅을 방지한다.

max_depth: Tree의 최대 깊이를 말하며 수를 줄이면 과적합을 해결할 수 있다. 

objective: 사용하는 데이터셋의 타겟팅 값의 형태에 따라 수치예측이면 regression, 이진분류이면 binary 를 사용한다.

metric: 성능 평가를 어떤 것으로 할 것인지 조정이 필요하다.

 

 

모델 정확성 출력

print("Accuracy:", accuracy_score(y_test, y_pred))

 

인사이트 도출

타입을 시각화한 결과 클래스간의 불균형이 심한것을 확인할 수 있었다. 또한 fiberID 에서 640 이후로는 QSO 만 존재하는 것을 확인할 수 있었다. 이를 통해 QSO 클래스에서 640을 넘는 값을 삭제하는 등의 언더샘플링을 진행하면 데이터간의 불균형을 해결할 수 있지 않을까 생각해보았다. 그러나 데이터를 삭제하는 일인만큼 언더샘플링 된 데이터가 원본 데이터의 특성을 잘 갖고 있는 것이 중요해 보인다.

 

성찰 및 느낀점

모델링을 진행하면서 대량의 데이터를 다루기 위해 LightBGM 을 사용해 보았는데 파라미터를 설정하거나 과적합을 피하기 위한 방법에 대해 잘 알지 못하여 num_leaves 파라미터만 조금씩 설정해보며 모델링을 진행하였다. 기본값이 31인데 클수록 정확성을 높일 수 있다고 하여서 정확성이 다시 낮아지지 않는 지점인 34를 설정하였다. 또한 objective 파라미터를 설정하면서 regression 과 binary 중 학습 목표에 따라 설정해야 했는데 이점을 인지하지 못했던것같다. 이처럼 파라미터 설정에 대해 미숙한 점을 보완하고 싶다. 

 

 

 

 

참고문헌

https://dacon.io/competitions/official/235573/codeshare/686?page=1&dtype=recent

https://dacon.io/competitions/official/235573/codeshare/694?page=1&dtype=recent

https://dacon.io/competitions/official/235573/codeshare/693?page=1&dtype=recent

https://www.codeit.kr/community/questions/UXVlc3Rpb246NjBlZTc0YzMyOGRjMDY2Y2ZlYWYwZGE0

https://dacon.io/competitions/official/235573/codeshare/721?page=1&dtype=recent

https://nurilee.com/2020/04/03/lightgbm-definition-parameter-tuning/

https://for-my-wealthy-life.tistory.com/24

https://lucian-blog.tistory.com/101