[DACON/김민혜] 천체 분류 경진대회

너무 늦게 올려 죄송합니다아!!

 

개요

이번 프로젝트에 대한 간단한 개요를 설명하자면 다음과 같다.

천체 데이터인 ‘슬론 디지털 천체 관측(SDSS)’ 데이터를 활용하여 측정된 21개의 데이터를 이용하여 이미 정의된 19개의 천체 유형을 분류하는 대회이다.

Data 톺아보기

대회에 올라온 데이터셋을 살펴봤을 때 등장하는 천체들의 종류에 대해 정리하면 다음과 같다.

☝🏻 천체 종류

1. QSO- 퀘이사
2. STAR_RED_DWARF - 적색왜성
3. STAR_BHB - 수평거열성
4. STAR_CATY_VAR - 격변변광성
5. SERENDIP_RED, SERENDIP_BLUE, SERENDIP_DISTANT : 항성 구역 외부에 놓인 천체
6. SERENDIPITY_FIRST : 첫번째 관측에서 퀘이사로 분류되었지만, 이어진 관측에서는 더 흐릿한 천체
7. SERENDIPITY_MANUAL : 수동으로 관측된 천체
8. sky : 빈 하늘
9. ROSAT_D : X-선 파장대에서 관측한 천체이지만, SDSS 망원경에서도 관측되는 천체 </aside>

그리고 각 알파벳(u, g, r, i, z)이 존재하는 의미를 알아본 결과, 파장대를 의미하며 각각 다음과 같은 의미를 가지고 있다.

u : Ultraviolet

g : Green

r : Red

i : Near Infrared

z : Infrared

 

EDA(Exploratory Data Analysis, 탐색적 데이터 분석)

시각화, 수치

import pandas as pd
from sklearn.ensemble import RandomForestClassifier

• pd라는 이름으로 pandas 라이브러리를 임포트한다.
• 사이킷런에서 제공하는 앙상블 모듈에서 랜덤포레스트 분류 모델을 불러온다.

# matplotlib and seaborn for plottingimport matplotlib.pyplot as plt
%matplotlib inline

import seaborn as sns
import matplotlib.patches as patches

• matplot library에서 함수의 모음(pyplot)을 plt 이름으로 임포트.
• matplotlib.pypot: 명령어 스타일로 동작하는 함수의 모음
  • 모듈의 각각의 함수를 사용해서 간편하게 그래프를 만들고 변화를 줄 수 있음
    • ex. 그래프 영역을 만들기, 선 표현, 레이블 꾸미기 등
• seaborn 패키지 추가
• seaborn: Matplotlib을 기반으로 다양한 색상 테마와 통계용 차트 등의 기능을 추가한 시각화 패키지
• matplot library에서 patches 추가
• matplotlib.patches: 모든 시각화 요소들을 담고 있는 Artist 서브클래스 밑에 속해 있는 표면색과 테두리색을 나타낸다.

[Data size]

print('Size of train data', train.shape)
print('Size of test data', test.shape)

#출력결과
Size of train data (199991, 22)
Size of test data (10009, 21)

먼저, train.shape을 통해 train.csv, tst.csv를 다중인덱싱 한 자료의 shape을 출력한다. ⇒ (행 개수, 열 개수) 그리고 출력 결과 train 데이터셋은 199991개의 행과 22개의 열로 이루어져 있고, test 데이터셋은 10009개의 행과 21개의 열로 이루어져 있다.

여기서 shape 함수(pandas.Dataframe.shape)가 하는 역할은 데이터프레임의 차원을 나타내는 튜플 값을 알려주는 것이다.

 

[Data info]

train.info()

#출력결과

<class 'pandas.core.frame.DataFrame'>
Int64Index: 199991 entries, 0 to 199990#인덱스 번호는 0~9까지 (#부분)
Data columns (total 22 columns):#데이터 열은 총 22개#   Column      Non-Null Count   Dtype
---  ------      --------------   -----
 0   type        199991 non-null  object
 1   fiberID     199991 non-null  int64
 2   psfMag_u    199991 non-null  float64
 3   psfMag_g    199991 non-null  float64
 4   psfMag_r    199991 non-null  float64
 5   psfMag_i    199991 non-null  float64
 6   psfMag_z    199991 non-null  float64
 7   fiberMag_u  199991 non-null  float64
 8   fiberMag_g  199991 non-null  float64
 9   fiberMag_r  199991 non-null  float64
 10  fiberMag_i  199991 non-null  float64
 11  fiberMag_z  199991 non-null  float64
 12  petroMag_u  199991 non-null  float64
 13  petroMag_g  199991 non-null  float64
 14  petroMag_r  199991 non-null  float64
 15  petroMag_i  199991 non-null  float64
 16  petroMag_z  199991 non-null  float64
 17  modelMag_u  199991 non-null  float64
 18  modelMag_g  199991 non-null  float64
 19  modelMag_r  199991 non-null  float64
 20  modelMag_i  199991 non-null  float64
 21  modelMag_z  199991 non-null  float64
dtypes: float64(20), int64(1), object(1)#데이터 타입은 float64, int64, object
memory usage: 35.1+ MB

 

[Data describe]

train.describe()

train_desc_df = train.describe()
train_desc_df

id	fiberID	psfMag_u	psfMag_g	psfMag_r	psfMag_i	psfMag_z	fiberMag_u	fiberMag_g	fiberMag_r	...	petroMag_u	petroMag_g	petroMag_r	petroMag_i	petroMag_z	modelMag_u	modelMag_g	modelMag_r	modelMag_i	modelMag_z
count	199991.00000	199991.000000	1.999910e+05	199991.000000	199991.000000	199991.000000	199991.000000	1.999910e+05	199991.000000	199991.000000	...	199991.000000	199991.000000	199991.000000	199991.000000	199991.000000	199991.000000	199991.000000	199991.000000	199991.000000
mean	99995.00000	360.830152	-6.750146e+00	18.675373	18.401235	18.043495	17.663526	1.084986e+01	19.072693	19.134483	...	21.837903	18.454136	18.481525	17.686617	17.699207	20.110991	18.544375	18.181544	17.692395
std	57732.57318	225.305890	1.187678e+04	155.423024	127.128078	116.622194	123.735298	4.172116e+03	749.256162	90.049058	...	789.472333	154.376277	97.240448	145.730872	142.691880	122.299062	161.728183	133.984475	131.183416
min	0.00000	1.000000	-5.310802e+06	-40022.466071	-27184.795793	-26566.310827	-24878.828280	-1.864766e+06	-215882.917191	-21802.656144	...	-24463.431833	-25958.752324	-23948.588523	-40438.184078	-30070.729379	-26236.578659	-36902.402336	-36439.638493	-38969.416822
25%	49997.50000	174.000000	1.965259e+01	18.701180	18.048572	17.747663	17.425523	1.994040e+01	18.902851	18.259352	...	19.247795	18.113933	17.479794	17.050294	16.804705	19.266214	18.076120	17.423425	16.977671
50%	99995.00000	349.000000	2.087136e+01	19.904235	19.454492	19.043895	18.611799	2.104910e+01	20.069038	19.631419	...	20.366848	19.586559	19.182789	18.693370	18.174592	20.406840	19.547674	19.143156	18.641756
75%	149992.50000	526.000000	2.216043e+01	21.150297	20.515936	20.073528	19.883760	2.233754e+01	21.385830	20.773911	...	21.797480	21.004397	20.457491	20.019112	19.807652	21.992898	20.962386	20.408140	19.968846
max	199990.00000	1000.000000	1.877392e+04	3538.984910	3048.110913	4835.218639	9823.740407	4.870154e+03	248077.513380	12084.735440	...	298771.019041	12139.815877	7003.136546	9772.190537	17403.789263	14488.251976	10582.058590	12237.951703	4062.499371

8 rows × 22 columns

Dataframe.describe(): descriptive 통계를 생성하는 함수이며 기본 형태는 다음과 같다.

DataFrame.describe(percentiles=None, include=None, exclude=None)

NaN 값을 제외한 데이터 세트 분포의 중심 경향, 분산 및 모양을 요약하며, 요약 통계량을 반환한다.

 

[Data head]

train.head()

 

id	type	fiberID	psfMag_u	psfMag_g	psfMag_r	psfMag_i	psfMag_z	fiberMag_u	fiberMag_g	...	petroMag_u	petroMag_g	petroMag_r	petroMag_i	petroMag_z	modelMag_u	modelMag_g	modelMag_r	modelMag_i	modelMag_z
0	0	QSO	601	23.198224	21.431953	21.314148	21.176553	21.171444	22.581309	21.644453	...	22.504317	21.431636	21.478312	21.145409	20.422446	22.749241	21.465534	21.364187	21.020605
1	1	QSO	788	21.431355	20.708104	20.678850	20.703420	20.473229	21.868797	21.029773	...	21.360701	20.778968	20.889705	20.639812	20.646660	21.492955	20.758527	20.753925	20.693389
2	2	QSO	427	17.851451	16.727898	16.679677	16.694640	16.641788	18.171890	17.033098	...	17.867253	16.738784	16.688874	16.744210	16.808006	17.818063	16.697434	16.641249	16.660177
3	3	QSO	864	20.789900	20.040371	19.926909	19.843840	19.463270	21.039030	20.317165	...	20.433907	19.993727	19.985531	19.750917	19.455117	20.770711	20.001699	19.889798	19.758113
4	4	STAR_RED_DWARF	612	26.454969	23.058767	21.471406	19.504961	18.389096	25.700632	23.629122	...	25.859229	22.426929	21.673551	19.610012	18.376141	24.877052	23.147993	21.475342	19.487330

5 rows × 23 columns

Dataframe.head(): 첫 번째 n개의 행들을 반환하는 함수이다.

 

[Data Correlation]

# 전체 데이터에 대한 상관관계 HeatMap 시각화corr = train.corr()
cmap = sns.color_palette("Blues")
f, ax = plt.subplots(figsize=(10, 7))
sns.heatmap(corr, cmap=cmap)

<matplotlib.axes._subplots.AxesSubplot at 0x1a31854390>

Dataframe.corr()은 해당 데이터셋에 대한 상관관계를 나타내는 함수이다.

 

[Data type]

# Log_IDfig = plt.figure(figsize=(18,9))
plt.subplots_adjust(hspace=.5)

plt.subplot2grid((3,3), (0,0), colspan = 3)
train['type'].value_counts()[:100].plot(kind='bar', alpha=0.7)
plt.title('type Values in the Training Set - train ()')

Text(0.5, 1.0, 'type Values in the Training Set - train ()')

train['type'].value_counts()

QSO                    49680
GALAXY                 37347
SERENDIPITY_BLUE       21760
SPECTROPHOTO_STD       14630
REDDEN_STD             14618
STAR_RED_DWARF         13750
STAR_BHB               13500
SERENDIPITY_FIRST       7132
ROSAT_D                 6580
STAR_CATY_VAR           6506
SERENDIPITY_DISTANT     4654
STAR_CARBON             3257
SERENDIPITY_RED         2562
STAR_WHITE_DWARF        2160
STAR_SUB_DWARF          1154
STAR_BROWN_DWARF         500
SKY                      127
SERENDIPITY_MANUAL        61
STAR_PN                   13
Name: type, dtype: int64

결과를 기반으로 파악한 점은 QSO의 개수가 앞도적으로 많다는 것이다.

 

모델링

from sklearn.ensemble import RandomForestClassifier
from sklearn.ensemble import BaggingClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
import pandas as pd
import warnings
warnings.filterwarnings('ignore')

# Random Forest 모델 가져오기
rf_clf = RandomForestClassifier()
bag_clf = BaggingClassifier(rf_clf)

# training dataset 불러오기
train_data = pd.read_csv("drive/MyDrive/Colab Notebooks/train.csv")

# 맞춰야 하는 것은 type이기 때문에 type과 나머지 데이터들을 분리해줌 (슬라이싱)
X = train_data.iloc[:, 2:]
y = train_data.iloc[:, 1]#type 열# training dataset과 test dataset으로 쪼개기# training과 test의 비율은 0.3 [7:3으로 쪼갠다]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=11)

# 랜덤 포레스트 학습 및 별도의 테스트 세트로 예측 성능 평가
rf_flf = RandomForestClassifier(criterion='entropy', bootstrap=True, random_state=42, max_depth=5)
rf_clf.fit(X_train, y_train)
pred = rf_clf.predict(X_test)
accuracy = accuracy_score(y_test, pred)
print('랜덤 포레스트 정확도: {0:.4f}'.format(accuracy))

인사이트 도출

데이터량을 살펴 봤을 때 QSO가 가장 많고, 어떤 데이터들은 극소량만 존재하기도 한다.

그런데 데이터 간 관련성을 어떻게 찾아야 할까?

 

그 외 (성찰, 도메인 지식 등)

어떤 방향으로 코드를 작성하고 싶은지, 어떤 결과를 도출하고 싶은지 명확하지 않아 전반적으로 EDA 및 모델링을 실행하는 과정에서 확신이 없었다. 수치적인 결과나 도표가 결과로 나오기는 하지만 이를 통해 어떻게 의미있는 결과를 찾아낼 수 있을지 아직 감이 잡히지 않는다. 감자가 된 기분이고 눈물이 난다.

하지만 매번 이 천체 유형을 분류하기 위한 모델을 돌릴 때마다 반드시 정복해버리고 말겠다는 생각으로 마무리되는 건 매한가지인 것 같다. 아래 내용은 조사했던 기본 지식들이다.

 

도메인 자료조사

• 항성분류 (출처: 🔗LINK)⇒ 주로 표면온도와 분광학적 특징 두 가지에 의해 항성을 분류한다.: 항성들을 특정 기준에 따라 구별하는 것
  • 항성분광학의 발전으로 흡수선의 양상에 따라 거리에 관계없이 항성을 분류하는 것이 가능해졌다.
• QSO 퀘이사 (출처: Link): 일반적인 은하보다도 훨씬 밝은 활동을 보이는 활동은하핵의 한 종류
  • 초대질량 블랙홀 천체이며, 지구로부터 너무 멀어 관측이 쉽지 않음
  • 퀘이사의 광도곡선을 재구성하여 중력렌즈 현상을 겪은 퀘이사를 찾아내는 것이 관측방법
• SDSS(Sloan Digital Sky Survey) (출처: Link)
  • 대규모 다중 분광 영상화 및 분광학적 적색편이 탐사 계획
  • 특별한 천체를 지목하지않고 최대한 넓은 하늘 영역의 데이터를 얻어내는 방식
  • 약 5억 개의 천체에 대한 측광 자료와 300만 개 이상의 천체의 스펙트럼을 수집함
    • 주요 은하 표본은 적색편이 중간값이 z = 0.1
    • 밝은 적색 은하에 대하여 적색편이 z = 0.7
    • 퀘이사에 대하여 적색편이 z = 5
  • 관측
    • 전용으로 구비된 2.5 m 광각 광학망원경을 사용하고 있음
    • 필터 다섯개(u, g, r, i, z)로 구성된 측광계를 사용하여 촬영됨
      • 이 사진들은 점상 혹은 은하와 같이 퍼진상으로 보이는지, CCD가 검출하는 밝기가 어떤 방식으로 여러 종류의 밝기 등급과 연관되는가에 따른 다양한 parameter들의 목록 작성에도 쓰인다고 한다.
    • 각 광학 필터는 순서에 따라 평균 여과 파장이 355.1, 468.6, 616.5, 748.1, 893.1 nm
    • 분광카메라는 알루미늄판에 뚫려 있는 구멍을 통해 보이는 각 표적에 광섬유를 공급하여 작동

자료조사_분류 기법

• 지도학습의 대표적인 유형
  • 지도학습: 명시적인 정답이 있는 데이터가 주어진 상태에서 학습하는 머신러닝 방식
• 학습 데이터로 주어진 데이터의 피처와 레이블값(결정 값, 클래스 값)을 머신러닝 알고리즘으로 학습해 모델 생성
• 생성된 모델에 새로운 데이터 값이 주어졌을 때 미지의 레이블 값을 예측하는 것⇒ 기존 데이터가 어떤 레이블에 속하는지 패턴을 알고리즘으로 인지한 뒤, 새롭게 관측된 데이터에 대한 레이블을 판별하는 것.
• 출력하고자 하는 값이 카테고리값(이산형)인 경우
• 독립변수값이 주어졌을 때 그 값과 가장 연관성이 큰 종속변수값(클래스)을 예측하는 문제
  • 즉, 어떤 표본에 대한 데이터가 주어졌을 때 그 표본이 어떤 카테고리 혹은 클래스에 속하는지
    • ex. 이미지를 컴퓨터에 입력했을 때 “개”인지 “고양이”인지 판별하는 문제

[결정 트리 Decision Tree]

: 데이터에 있는 규칙을 학습을 통해 자동으로 찾아내 트리 기반으로 분류 규칙을 만드는 것.

• ML 알고리즘 중 직관적으로 이해하기 쉬운 알고리즘
• 데이터의 어떤 기준을 바탕으로 규칙을 만들어야 가장 효율적인 분류가 될 것인지가 관건
• 규칙 노드(Decision Node)에서 규칙에 따라 분할됨. 규칙 조건을 나타냄
• 서브 트리(Sub Tree)는 새로운 규칙 조건마다 생성됨.
• 계속되는 규칙에 따라 노드가 분할되며 최종적으로 리프 노드(Leaf Node)에서는 결정된 클래스 값을 가지게 됨
• 결정 트리를 구성할 때 한쪽으로 치우치지 않게 적절히 분할해야 하며 가지치기를 통해 관련성이 적은 서브 트리를 제거 or 트리의 깊이에 제한을 두는 등의 방식으로 과적합이 일어나지 않을 적절한 트리 만들어야 함
• 많은 규칙이 있다는 것 = 분류를 결정하는 방식이 더욱 복잡해짐⇒ 트리의 깊이가 깊어질수록 결정 트리의 예측 성능이 저하될 가능성이 높음
• 트리를 효율적으로 분할하기 위해 최대한 균일한 데이터 세트를 구성하는 것이 중요
  • 균일도 측정방법
    1. 정보 이득: 엔트로피(주어진 데이터 집합의 혼잡도) 개념 기반. 서로 다른 값이 섞여 있으면 높고, 같은 값이 섞여 있으면 낮음.
       • 정보 이득이 높은 속성을 기준으로 분할
       • 정보 이득 지수 = 1-엔트로피 지수
    2. 지니 계수: 0이 가장 평등하며 1로 갈수록 불평등. 데이터가 다양한 값을 가질수록 평등, 특정 값으로 쏠릴 때는 불평등한 값.
       • 다양성이 낮을수록 균일도가 높다는 의미이므로 1로 갈수록 균일도가 높으며, 지니 계수가 높은 속성을 기준으로 분할

[앙상블 학습 Ensemble Learning]

: 여러 개의 분류기(Classifier)를 생성하고 그 예측을 결합함으로써 보다 정확한 최종 예측을 도출하는 기법

• 목표: 다양한 분류기의 예측 결과를 결합함으로써 단일 분류기보다 신뢰성이 높은 예측값을 얻는 것 (집단지성 느낌)
• 대부분의 정형 데이터를 분류해 낼 때 뛰어난 효과를 나타냄
• 학습 유형
  1. Voting: 하나의 데이터 셋에서 다양한 알고리즘의 분류기를 사용해 예측한 값을 결합하는 방식
     • 여러 개의 분류기가 투표를 통해 최종 예측 결과를 결정하는 방식 - 서로 다른 알고리즘을 가진 분류기의 결합
  2. Bagging: 한 가지의 알고리즘 분류기를 통해 다양한 데이터 셋 각각을 학습시켜 예측한 값을 결합
     • 여러 개의 분류기가 투표를 통해 최종 예측 결과를 결정하는 방식 - 각각의 분류기가 모두 같은 유형의 알고리즘 기반. 데이터 샘플링을 서로 다르게 하면서 보팅 수행.
       • ex) 랜덤 포레스트 알고리즘
     • 대부분 결정 트리 알고리즘을 기반으로 함
  3. Boosting: 여러 개의 분류기를 학습하면서 앞서 예측을 진행한 분류기가 예측에 틀린 데이터에 대해 가중치(weight)를 부여하여 다음 분류기의 학습을 진행하는 방식
     • XGBoost(eXtra Gradient Boost), LightGBM(Light Gradient Boost), 그래디언트 부스트
     • 대부분 결정 트리 알고리즘을 기반으로 함
  • Stacking: 미리 다른 알고리즘 분류기로로 학습한 예측 값을 다시 학습용 데이터로 만들어 다른 분류기에 재 학습시키는 방식
    • 배깅 및 부스팅과의 공통점 - 개별적인 여러 알고리즘을 서로 결합해 예측 결과 도출
    • 차이점 - 개별 알고리즘으로 예측한 데이터를 기반으로 다시 예측 수행

 

---

참고문헌:

[데이콘답변요청]데이터 라벨에대한 추가설명 부탁드립니다.

책 [파이썬 머신러닝 완벽 가이드]

https://jalynne-kim.medium.com/데이터분석-기초-eda의-개념과-데이터분석-잘-하는-법-a3cac2cc5ebc

https://dacon.io/en/codeshare/663?page&dtype=vote&ptype&fType

https://m.blog.naver.com/yhinjesus/172732656