[WIDA] 2팀_3차 보고서

주제: 금융카드 고객 세그먼트 분류 알고리즘 개발

[목표]

모델 성능 개선

 

[진행사항]

1. 클래스 불균형 문제 해결을 위한 SMOTE 적용

문제점 인식: 현재 금융카드 고객 데이터셋의 세그먼트 분포를 확인한 결과, A와 B 세그먼트의 데이터 개수가 C, D, E 세그먼트에 비해 현저히 적은 것을 확인

모델 학습 시 소수 클래스에 대한 예측 성능 저햐를 야기할 수 있음

SMOTE를 이용한 오버샘플링 적용: SMOTE(Synthetic Minority Over-sampling Technique) 알고리즘을 적용하여 소수 클래스(A, B)의 합성 데이터를 생성하고 데이터셋의 균형을 맞춤

SMOTE란?

출처: https://incodom.kr/SMOTE

 SMOTE는 k 최근접 이웃(kNN: k-Nearest Neighbor) 알고리즘을 기반으로 하여, 소수 범주내 임의 샘플을 중심으로 k-최근접 이웃을 찾아, 두 샘플 사이를 랜덤한 비율로 선형 보간하여 새로운 샘플을 생성하는 기법

→ 단순 복제 방식의 오버샘플링이 가질 수 있는 과적합 문제를 완화하는 데 도움

오버샘플링이란?

오버샘플링은 불균형 데이터셋에서 소수 클래스의 데이터 수를 인위적으로 늘려 데이터 분포의 균형을 맞추는 기법

 

2. 과적합 방지를 위한 하이퍼파라미터 튜닝

하이퍼파라미터 튜닝: SMOTE 적용 후, 모델의 과적합을 방지하고 일반화 성능을 향상시키기 위해 XGBoost 모델의 주요 하이퍼파라미터에 대한 튜닝을 진행

 

튜닝 코드 및 설명:

model = xgb.XGBClassifier(
    objective='multi:softprob',
    max_depth=6,
    learning_rate=0.08,
    n_estimators=500,
    subsample=0.8,
    colsample_bytree=0.8,
    min_child_weight=5,
    gamma=1,
    tree_method='hist',
    random_state=42
)

위 코드는 XGBoost 분류 모델의 하이퍼파라미터들을 특정 값으로 설정하는 과정

각 파라미터는 모델의 학습 방식과 복잡도에 영향을 미치며, 적절한 튜닝을 통해 모델의 성능을 향상시키고 과적합을 방지할 수 있음

 

[현재 결과]

0.638 → 0.648(0.01상승)

 

[향후 계획]

SHAP과 LIME을 활용하여 모델을 설명할 예정