[WIDA] 2팀_3차 보고서

전처리: 원-핫인코딩에서 라벨 인코딩으로 변경

기존 원핫인코딩이 컬럼의 수를 과도하게 늘려 학습을 방해하고 있다는 피드백을 받음.

원핫인코딩으로 처리했던 피처를 값에 따라 0~n으로 처리하는 라벨 인코딩 방식을 채택함.

school1	학교id 평균 철회율. 등장 횟수 29회 미만 → 기타
doublem	복수전공 여부 0/1
itmajor	IT전공인지(1전공 2전공 중 하나라도 IT) 0/1
ismajor	(데이터)전공자인지 0/1
job	현재 신분 0~3
class1_1	분반. 평균 철회율. 등장 횟수 100회 미만 → 기타

re_registration	예=1, 아니요=0, NaN=-1
nationality	내국인=0, 외국인=1, NaN=-1
inflow_route	주요 경로별 0~4, 기타=5
whyBDA	5% 미만 기타 통합 후 0~5
what_to_gain	5% 미만 기타 통합 후 0~4, NaN=-1
hope_for_group	오프라인=0, 온라인=1, 개인 활동=2, NaN=-1
major_field	삭제
desired_career_path	텍스트 표준화 → 라벨 인코딩 (0~3)
interested_company	삭제
expected_domain	비중 5% 미만 기타로 묶은 뒤 라벨 인코딩

project_type	개인=0, 팀=1
desired_job	소수 카테고리(<10): 기타로 합치기
certificate_acquisition	Multi-Label Encoding 소수 카테고리(<10): 기타로 합치기 기존 컬럼 : ADsp, AWS, SQLD, 구글애널리스틱스, 빅데이터분석기사, 정보처리기사, 태블로, 컴퓨터 활용 능력, 준비중, 기타
desired_certificate	Multi-Label Encoding 소수 카테고리(<10): 기타로 합치기
certificate_study_period	시험일 전 3주 = 0 시험일 전 4주 = 1 시험일 전 5주 = 2 접수일 전 3주 = 3 접수일 전 4주 = 4 접수일 전 5주 = 5
desired_job_except_data	Multi-Label Encoding 소수 카테고리(<10): 기타로 합치기? 기존 컬럼 : R&D/연구, 개발, 경영/관리, 금융/회계, 기획/전략, 마케팅/광고/MD , 영업, 미정
incumbents_level	주니어(0~3년차)=0, 시니어(10년차)=1
incumbents_company_level	소수 카테고리(<10): 관련 있는 컬럼/기타로 합치기 국내대기업IT 국내빅테크 금융권(전반) 기타 문화/엔터/게임 미정 바이오 반도체 스타트업C레벨 스포츠 해외빅테크
incumbents_lecture_type	온라인=0, 온/오프라인 동시에 = 1, 오프라인 = 2
incumbents_lecture_scale	소수 카테고리(<10): 기타로 합치기? 100명 이상의 리스너와 1-2명의 현직자 100명 이상의 리스너와 10명 이상의 현직자 100명 이상의 리스너와 3명의 현직자 10명 내외의 강의 리스너와 1명의 현직자 3~50명 내외의 강의 리스너와 1명의 현직자 무관
onedayclass_topic	Multi-Label Encoding 소수 카테고리(<10): 기타/관련 있는 컬럼으로 합치기 ML/DL/AI/NLP/CV/LLM Python / R 프로그래밍 언어 합치기 SQL/DB 공모전/프로젝트/포트폴리오/커리어 데이터엔지니어링/빅데이터/클라우드 시각화/BI 기타

 

1056 rows × 53 columns 크기의 csv파일로 모델을 다시 학습함. 

 

CATBOOST 성능

Accuracy: 0.5047

F1-score: 0.4976

AUC: 0.6889 

 

언더샘플링 결과:

언더샘플링 후 클래스 분포: withdrawal 1 = 261/ 0 = 261

Name: count, dtype: int64

Accuracy: 0.5613 F1-score: 0.5792 AUC: 0.7363

 

오버샘플링 결과:

오버샘플링 후: withdrawal 1 =  583 / 0 583

Name: count, dtype: int64

Accuracy: 0.6934 F1-score: 0.8189 AUC: 0.6734

 

XGBOOST 성능

정확도 : 0.6604 

이전에 비해

• 정확도 살짝(+1.4%) 상승
• 이전 weighted F1: 0.65
• 이번 weighted F1: 0.64 ← 거의 비슷하거나 약간 worse
• Class 1을 맞추지만, 희귀 클래스(0)는 더 무시하는 형태가 심해졌다.

모델의 특성을 고려해 결측치를 -1로 채우지 않고 비워서 학습시켰을 때

정확도(Accuracy): 0.6368

클래스간 격차도 벌어지고 정확도 떨어짐

 

RandomForest 성능

트리 500일때 정확도: 0.7216981132075472 f-1 0.8259587020648967

트리 800으로 설정  정확도: 0.7311320754716981

 

결론적으로 RandomForest를 기반으로 성능을 발전시키기로 하였다.

 

리더보드(1차)

랜덤포레스트 모델로 철회 여부를 예측해 제출한 결과

public 0.64604 private 0.6471600688 (151등)

 

랜덤포레스트 성능 개선

• Baseline RF: 기본 랜덤 포레스트.
• RF class_weight: 클래스 가중치를 사용한 랜덤 포레스트.
• SMOTE + RF: **과표집(Oversampling)**을 통한 균형 맞추기.
• UnderSample + RF: **미표집(Under-sampling)**을 통한 균형 맞추기.
• Balanced RF: 불균형 데이터 처리에 특화된 앙상블 기법. 

모델별 특징

1. Baseline RF (ID X)
   • 전체 성능(f1_macro) 준수
   • 소수 클래스 0 성능 낮음(f1_0 0.33, recall 0.21) → 여전히 0 과소 예측
2. RF class_weight
   • class_weight 줬지만 성능 오히려 낮음(f1_macro 0.54)
   • recall_0 약간 향상했지만 precision_0 유지 → 오버패널티 가능
3. SMOTE + RF
   • 소수 클래스 늘려 학습
   • recall_0 비슷하지만 precision_0 0.5로 낮아짐 → false positive 증가
   • 전체 f1_macro 비슷
4. UnderSample + RF
   • 다수 클래스 줄임 → 소수 클래스 F1 크게 향상(f1_0 0.51, recall_0 0.74)
   • precision_0 낮음(0.39) → 과잉 예측 존재
   • roc_auc 최고(0.614) → 분류 경계가 좀 더 균형됨
5. Balanced RF
   • 전체적으로 가장 균형 잡힘(f1_macro 최고 0.594)
   • 소수 클래스 성능(f1_0 0.46, recall_0 0.50) → UnderSample보다는 낮지만 전체 성능 좋음
   • roc_auc도 준수(0.60)

임계값 테스트

🥇 F1-macro 최대화	0.4700	0.6507	0.5041	0.7973	클래스 1(탈퇴)에 여전히 유리하지만, 균형 잡힌 성능
🥈 F1-0 최대화	0.5700	0.5457	0.5200	0.5714	클래스 0(미탈퇴) 예측 성능 최대화

 

• Balanced Random Forest 사용 → 소수 클래스 불균형 보정
• 임계값(Threshold) 튜닝 적용 → BEST_THRESHOLD = 0.47로 class 0/1 예측 기준 조정

결과 - public 0.6247689464, private 0.6273062731

 

코드 - 임계값 0.57 버전

결과 - public 0.4186046512, private 0.4702842377

 

• NaN 처리
  • SimpleImputer(strategy="median")를 사용하여 수치형 결측치 처리 → SMOTE 없이도 NaN 문제 해결.
• Balanced 처리
  • 기존 BalancedRandomForestClassifier 대신 RandomForestClassifier + class_weight="balanced" 사용
  • 소수 클래스에 가중치를 부여하여 불균형 문제 완화.
• Threshold 튜닝
  • 최적 임계값 BEST_THRESHOLD = 0.47 적용 → 클래스 0(F1) 성능 개선.
• 전체 학습 데이터 재학습
  • 최종 제출용 예측 시 split된 train/valid가 아닌 X, y 전체 데이터로 재학습 → 일반화 성능 향상.

결과 - public 0.64604811, private 0.64604811

 

• SMOTE로 클래스 0 샘플을 늘려 recall 개선.
• Threshold를 0.47 → 0.4로 낮춰 0을 더 많이 잡도록 조정.
• BalancedRandomForest + class_weight="balanced" 유지.

⇒ 결과 public 0.64716

 

임계값 조정 : accuracy 기준public점수 : 0.6483704974, private점수 : 0.6471600688

 

 

중요도가 높은 피처만 추출해 데이터를 만들어 재학습 시킴 + 임계값 조정

top 20 : public점수 : 0.6483704974, private점수 : 0.6459412781

top 30 : public점수 : 0.6483704974, private점수 : 0.64604811 → 한 것 중 가장 높음

 

하이퍼파라미터 튜닝한 값

model = RandomForestClassifier(
    n_estimators=800,
    max_depth=30,
    min_samples_split=2,
    min_samples_leaf=1,
    max_features="sqrt",
    bootstrap=True,
    random_state=42,
    class_weight="balanced",   # 튜닝 때 balanced로 했으면 유지, 아니면 빼기
    n_jobs=-1
)

 

최종 랜덤포레스트 모델 기반 알고리즘

DACON 리더보드 제출 결과

0.6483704974, 0.6471600688