DSOB

☝🏻 WIDA_4주차 파이썬으로 모델 불러와서 간단하게 모델 돌려보고 accuracy 측정해보기 (decision tree 제외 한가지 골라서) 그 모델의 하이퍼파라미터 분석하기 평가 방법 알아보기(log loss 포함 2가지) 랜덤포레스트 모델 실행 코드 from sklearn.ensemble import RandomForestClassifier from sklearn.ensemble import BaggingClassifier from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score import pandas as pd import warnings warnings.filterwarnings..

1. 개요 Classification(분류)? - Supervised learning(지도학습)의 일종으로 기존 데이터의 카테고리 관계를 파악하고, 새롭게 관측된 데이터의 카테고리를 스스로 판별하는 과정 - 예시로 문자를 판별할 때, 스팸인지 아닌지 분류하는 것과 같은 단일분류 그리고 수능 점수가 몇 등급에 속하는지 판별하는 다중분류가 있음 * cf) 비지도 학습의 clustering : 다중분류와 유사하지만, 다중분류는 카테고리의 도메인이 정의되어있다는 점에서 큰 차이점을 지닌다 Classification(분류) 알고리즘 - 일련의 데이터가 포함되는 기존 카테고리들을 학습하고, 이것을 기반으로 컴퓨터는 데이터의 범주를 구분하여 경계를 나누는 것을 학습 2. 나이브 베이즈 (Naive Bayes) 개요 ..

파이썬 머신러닝 완벽 가이드 1판 (권철민)을 참고하여 작성한 글입니다. Classification 정답이 주어진 데이터를 이용해 모델을 학습시키고 스스로 분류할 수 있도록 함 Decision Tree 데이터의 규칙을 스스로 찾아내고 학습하여 트리 기반의 분류 규칙을 만들어냄 규칙을 가장 쉽게 표현하는 방법은 if/else 기반으로 나타내는 것 → 데이터를 분류할 기준을 세울 때 가장 효율적인 분류가 될 수 있도록 해야 알고리즘의 성능이 올라감 내부 노드들은 규칙 노드가 되며, 단말노드(=리프노드)는 결정된 클래스(label)값이 됨 규칙노드가 많아질수록 클래스 값을 결정하는데 복잡한 과정을 거치게 됨→ 트리의 깊이가 깊어질 수록 예측 성능이 떨어질 수 있음 → overfitting의 위험성이 커짐 ov..

K-Nearest Neighbor (KNN) KNN은 지도 학습(Supervised Learning)의 일종으로, 분류(Classification)와 회귀(Regression) 문제에 모두 사용될 수 있는 알고리즘이다. 데이터 점들 간의 거리를 측정하여 가장 가까운 이웃들을 찾아내는 알고리즘을 말한다. 이렇게 찾아낸 이웃들의 레이블을 분류 문제(Classification)에서는 다수결 투표를 통해, 회귀 문제(Regression)에서는 이웃들의 평균값을 계산하여 예측한다. 장점 델을 학습시키는 과정이 없기 때문에, 실시간으로 데이터를 분류하거나 예측하는 데에 적합 이해하기 쉬운 알고리즘이기 때문에, 비전문가도 쉽게 이해할 수 있음 단점 데이터 포인트 간의 거리를 계산하기 때문에, 데이터의 차원이 늘어날수..

*Decision tree & Random forest #Decision tree -의사결정나무 데이터 마이닝 기법으로, 데이터 분석을 하고 예측 모델을 만들기 위해 사용한다. 또, 의사결정나무 알고리즘은 분류와 회귀 두가지 형태로 제공된다. 목표 변수가 유한한 수의 값을 가지면 분류목적의 분류 나무이고 실수값을 가지면 수치예측 목적의 회귀 나무가 된다. -의사결정나무의 형태 및 구조 입력 데이터에 대해 노드(Node)와 가지(Edge)로 이루어진 트리(Tree)형태의 구조를 만들어 결정경계를 나누는 알고리즘이며, 각 노드는 하나의 변수를 선택하며, 선택된 변수에 따라 하위 노드가 분리된다. 제일 상위의 마디를 뿌리 마디(root node)라 하고 이는 분류 대상이 되는 모든 자료집단을 포함한다. 상위 ..

SVM(Support Vector Machine) 서포트 벡터 머신 SVM은 고차원 공간의 데이터를 선형회귀 함수로 재구성함으로써 비선형 회귀 문제까지도 해결이 가능한 장점이 있다. 이러한 장점을 바탕으로 텍스트 분류나 영상, 사진에서의 인식과 더불어 bio informatics 분야의 protein 분류, cancer 분류에서도 사용되는 효과적인 분류 기법이다. SVM은 최대 마진 초평면으로 두 범주를 최대로 나누어 주는 평면을 찾게 되는데 이때 속성이 2개일 때는 간단한 선으로 나누어지고 속성이 3개 일때는 ‘선’이 아닌 ‘평면’이 되어 차원, 즉 속성의 개수가 늘어날 수록 복잡해지고 decision boundary 도 단순한 평면이 아닌 고차원이 된다. 서포트벡터머신은 서포트벡터 분류기를 확장하여 ..

분류 classification 지도학습의 대표적인 유형 지도학습: 명시적인 정답이 있는 데이터가 주어진 상태에서 학습하는 머신러닝 방식 학습 데이터로 주어진 데이터의 피처와 레이블값(결정 값, 클래스 값)을 머신러닝 알고리즘으로 학습해 모델 생성 생성된 모델에 새로운 데이터 값이 주어졌을 때 미지의 레이블 값을 예측하는 것 ⇒ 기존 데이터가 어떤 레이블에 속하는지 패턴을 알고리즘으로 인지한 뒤, 새롭게 관측된 데이터에 대한 레이블을 판별하는 것. 출력하고자 하는 값이 카테고리값(이산형)인 경우 독립변수값이 주어졌을 때 그 값과 가장 연관성이 큰 종속변수값(클래스)을 예측하는 문제 즉, 어떤 표본에 대한 데이터가 주어졌을 때 그 표본이 어떤 카테고리 혹은 클래스에 속하는지 ex. 이미지를 컴퓨터에 입력했..

월간 데이콘 천체 유형 분류 대회를 위한 지식 쌓기 1. 데이터 살펴보기 train.csv 기준 컬럼 종류 id type fiberID psfMag psfMag_u psfMag_g psfMag_r psfMag_i psfMag_z fiberMag fiberMag_u fiberMag_g fiberMag_r fiberMag_i fiberMag_z petroMag petroMag_u petroMag_g petroMag_r petroMag_i petroMag_z modelMag modelMag_u modelMag_g modelMag_r modelMag_i modelMag_z 컬럼 설명(출처: http://classic.sdss.org/dr7/algorithms/photometry.html, https://brun..

슬론 디지털 천체 관측(Sloan Digital Sky Survey:SDSS) 목표 : train data로 학습을 하고 test data의 천체의 type을 알아내는 것 [type] = Source type : 천체의 분류 QSO : 퀘이사 - 활동은하핵(Active Galactic Nucleus, AGN)을 갖는 매우 멀고 밝은 은하 - 가장 밝은 천체 중의 하나 - 넓은 선폭의 방출선을 가지며, 가시광선과 엑스선(X-ray) 영역대에서 강한 방출선을 가짐 - 적색편이 값은 매우 큼 (https://terms.naver.com/entry.naver?docId=5741238&cid=60217&categoryId=60217) STAR_RED_DWARF : 적색왜성 STAR_WHITE_DWARF : 백색왜..

월간 데이월간 데이콘 천체 유형 분류 대회 천체 유형 분류 알고리즘 개발 test 데이터 셋과 train 데이터 셋에서 도메인 지식 알아보기 fiber ID 천체를 관측할 때 사용된 광섬유의 식별번호 type QSO 퀘이사 STAR_RED_DWARF 적색왜성 STAR_BHB 수평거열성 STAR_CARBON 탄소로 된 왜성 STAR_BROWN_DWARF 갈색왜성 STAR_SUB_DWARF 저광도인 왜성에 준하는 행성 STAR_CATY_VAR 격변변광성 STAR_RED_DWARF 적색왜성 STAR_WHITE_DWARF 백색왜성 SERENDIP_RED, SERENDIP_BLUE, SERENDIP_DISTANT 항성 구역 외부에 놓인 천체 SERENDIPITY_FIRST 첫번째 관측에서 퀘이사로 분류되었지만, ..