DSOB

지구과학시간에 배웠던 항성 지식 원시성의 질량에 따라 항성(별)의 생애 주기가 달라짐 원시성이 잠시동안은 에너지를 생산하나 수소핵융합을 할정도로 중력이 강하고 온도와 압력이 충분히 높지 않은 경우 갈색왜성, 적색왜성의 형태로 남게됨 백색왜성은 별들이 연소를 모두 끝낸 후 더이상 에너지를 만들 수 없는 상태로 굉장히 고온으로 남아있어 흰색을 띔 GALAXY 주 표본 은하 QSO 퀘이사 매우 밝은 빛을 방출하나 굉장히 먼 은하의 중심에 위치 초거대질량 블랙홀 주위의 강력한 에너지 방출과 연관되어있으며, 우주의 팽창과 관련된 중요한 천체 중 하나 REDDEN_STD 일반적인 적색성 reddening standard star 별의 스펙트럼 관측 중 대기 흡수 및 산란이 거칠게 일어나는 별을 의미함 대기흡수 효과..

너무 늦게 올려 죄송합니다아!! 개요 이번 프로젝트에 대한 간단한 개요를 설명하자면 다음과 같다. 천체 데이터인 ‘슬론 디지털 천체 관측(SDSS)’ 데이터를 활용하여 측정된 21개의 데이터를 이용하여 이미 정의된 19개의 천체 유형을 분류하는 대회이다. Data 톺아보기 대회에 올라온 데이터셋을 살펴봤을 때 등장하는 천체들의 종류에 대해 정리하면 다음과 같다. 더보기 ☝🏻 천체 종류 QSO- 퀘이사 STAR_RED_DWARF - 적색왜성 STAR_BHB - 수평거열성 STAR_CATY_VAR - 격변변광성 SERENDIP_RED, SERENDIP_BLUE, SERENDIP_DISTANT : 항성 구역 외부에 놓인 천체 SERENDIPITY_FIRST : 첫번째 관측에서 퀘이사로 분류되었지만, 이어진 관..

과정 1. EDA 및 전처리 2. 모델링 및 결과 3. 인사이트 도출 1. EDA 및 전처리 Training set의 경우 총 23개의 column으로 이루어져 있으며 데이터는 약 20만건이 존재한다. Test set의 경우 총 22개의 column으로 Training set과는 다르게 'type' column이 존재하지 않는다. 이는 Test set을 이용해 예측 후 submission 파일을 만들어 제출하는 용도이기 때문이다. Submission file의 경우 column은 test set의 데이터 id, 별들의 type들이 존재한다. 각 type을 어느정도의 확률로 예측했는지 기록 후 제출하는 형태이다. 평가 방법은 log_loss를 이용하라고 했으나, 일단은 정확도와 전반적인 예측 확률 위주로 ..

목표 슬론 디지털 천체 관측 데이터를 가지고 천체의 타입을 분류해내는 것을 목표로 한다. 이를 위해서 train data로 학습을 하고 test data로 확인을 하는 과정을 거친다. EDA (Exploratory Data Analysis : 탐색적 데이터 분석) 수집한 데이터를 다양한 각도에서 관찰하고 이해하는 과정이다. # 필요한 패키지 import import numpy as np import pandas as pd import matplotlib.pyplot as plt from sklearn.model_selection import cross_val_score, train_test_split from sklearn.neighbors import KNeighborsClassifier from sk..

EDA (Exploratory Data Analysis) 라이브러리 불러오기 import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns 데이터 불러오기 train = pd.read_csv("C:/Users/twink/Documents/카카오톡 받은 파일/train.csv") test = pd.read_csv("C:/Users/twink/Desktop/test.csv") sub = pd.read_csv("C:/Users/twink/Desktop/sample_submission.csv") 데이터를 불러와서 어떤 형태의 데이터가 있는지 살펴보기 shape 확인하기 #행과 열의 개수 print(train...

노션을 티스토리로 복붙하여 업로드하니 다 깨져서 하나씩 캡쳐해서 업로드합니다. https://faithful-wolf-df8.notion.site/DACON-3d9990b4115a45a283849c52010efd84

1. EDA & 전처리들어가며천체 유형 분류 대회배경 안녕하세요 여러분! 천체 유형 분류 대회에 오신 것을 환영합니다. 최근 인류에게 다가온 빅데이터라는 단어는 우주와 천문학에게 낯설지 않습니다. 찰나의 순간에도 우주는 천문학적인 양의 데이터를 생산해왔고, 오래 전부터 천문학자들은 우주를 관측했으며 그 방대함에 비례하는 데이터를 수집 및 분석했기 때문입니다. 슬론 디지털 천체 관측(Sloan Digital Sky Survey: 이하 SDSS)는 세계적 천체 관측 프로젝트로, 우주에 대한 천문학적인 규모의 데이터를 수집하고 있습니다. 이곳에서 수집한 데이터는 약 6,000개 논문에 사용되었고, 25만 회 이상 인용되었을 정도로 천문학에 큰 기여를 했습니다. 점점 거대해지는 규모에 따라 데이터 처리에는 머신..

1. 개요 1) 앙상블이란? 여러개의 classifier를 생성하고 각 classifier가 예측한 값들을 결합함으로써 정확한 최종 예측 결과를 도출하는 기법 대부분의 정형데이터 분류 시 앙상블 모델들이 뛰어난 성능을 나타냄 랜덤 포레스트, 그래디언트 부스팅 등의 모델들이 있음 2) 학습 유형 투표를 통해 최종 예측 결과 결정 보팅 배깅 여러개의 분류기가 순차적으로 삭습 수행, 예측이 틀린 데이터에 대해서는 가중치 부여 부스팅 여러가지 다른 모델들의 예측 결과값을 학습 데이터로 만들고, 다른 모델(메타모델)에 이를 재학습시켜 결과를 예측 스태킹 이 외에도 다양한 유형이 있음 2. 앙상블 학습 유형 1) 보팅 일반적으로 서로 다른 알고리즘을 가진 classifier를 결합함 보팅 유형 하드보팅 다수결의 원..

또 다른 모델, SVM from sklearn import svm from sklearn.metrics import accuracy_score from sklearn.model_selection import train_test_split import pandas as pd # svm 모델 불러오기 7가지 모델 중 svm.SVC로 불러옴 svm_clf = svm.SVC(kernel="linear") # training dataset 불러오기 train_data = pd.read_csv("C:/Users/1ayou/PycharmProjects/dacon_astronomy/dataset/train.csv") X = train_data.iloc[:, 2:] y = train_data.iloc[:, 1] X_tr..

EDA Exploratory Data Analysis : 탐색적 데이터 분석 수집한 데이터를 다양한 각도에서 관찰하고 이해하는 과정 필요한 이유 데이터의 분포 및 값을 검토 → 데이터가 표현하는 현상을 더 잘 이해하고 데이터에 대한 잠재적인 문제 발견 가능 본격적인 분석에 들어가기 전, 데이터의 수집 결정 가능 다양한 각도에서 살펴보는 과정 → 문제 정의 단계에서 발견하지 못한 다양한 패턴을 발견하고 이를 바탕으로 가설을 수정할 수 있음 과정 분석의 목적, 변수 확인 개별 변수의 이름이나 설명 확인 데이터에 문제가 있는지 전체적으로 살펴보기 head나 tail 이상치, 결측치 확인 등 다양한 탐색 데이터의 개별 속성 값 관찰만약 그렇지 않다면, 이유 찾기 각 속성 값이 예측한 범위와 분포를 갖는지 확인 ..