[DACON/김경은] 기말 프로젝트 에세이

ugriz 필터

"5개의 SDSS 필터에서 측정된 은하의 겉보기 등급"

각 필터는 특정 파장 주변의 빛이 들어오도록 설계되었다. 

필터는 보도록 설계된 파장 주변의 빛을 제외한 모든 파장의 빛을 차단하여 작동한다. 

SDSS 카메라에는 다섯 가지 필터가 내장되어 있는데, 이 필터는 근자외선에서 근적외선에 이르는 작은 파장 창에서 물체의 밝기를 측정하는 데 사용된다.

 

SDSS의 5개 필터가 가장 잘 작동하는 파장이다.

자외선(u)
청색 및 녹색 가시 광선(g)
황색 및 적색 가시광선(r)
근적외선(i)
적외선(z)

SDSS 카메라는 각 필터를 통과하는 빛의 양을 측정한다. 

전자기 스펙트럼을 따라 서로 다른 위치에서 전송되는 빛의 강도인 이 정보는 천문학자들이 하늘에 있는 물체의 밝기와 색상을 주의 깊게 측정할 수 있는 강력한 도구를 제공한다.

 

asinh 크기 사용

 

시각화

train 데이터셋을 그대로 가져와서 박스플롯을 진행하면 극단값 때문에 눈으로 분포를 확인하기 어려웠다.

따라서 같은 필터를 사용하는 칼럼을 비교해보기 위해 극단값을 제거하여 박스플롯으로 시각화를 진행

 

 

u

 

g

 

r

 

i

 

z

 

칼럼별로 y축의 범위가 다 달라서 확인하는데 어려움이 있지만

모델과 상관없이 같은 필터끼리 유사한 분포를 보이는 것을 확인할 수 있었다. 

PetroMag의 경우 다른 Mag에 비해 극단값이 더 큰 수치로 존재하는것을 확인할 수 있었다.

 

 

전처리 방안

fiberID 와 같은 경우 심한 클래스 불균형

• Data argumentation : 갖고 있는 데이터셋을 여러 가지 방법으로 augment하여 실질적인 학습 데이터셋의 규모를 키울 수 있는 방법으로 데이터의 양을 늘리기 위해 원본에 각종 변환을 적용하여 개수를 증강시키는 기법이다. 
• Class weight : 전체 학습 데이터에 대해서 클래스별 가중치를 계산하는 방법으로 같은 클래스 내의 데이터 샘플은 같은 weight값을 갖는다.
• Sample weight : 개념적으로는 class wieght와 같지만 전체 배치가 아니라 미니 배치 상에서 sample 수를 고려해 loss를 계산하는 방법