DSOB

#1 import pandas as pd #2 import numpy as np #3 import matplotlib.pyplot as plt #4 import seaborn as sns #5 df=pd.read_csv("C:/Users/lucy8/PycharmProjects/test2/DSOB/train.csv") #6 print(df.head(3)) #7 print(df.shape) #8 print(df.isnull().sum()) #9 print(df.info()) df 파일에 할당된 데이터 중에 3개를 뽑아, 데이터의 형태 등을 파악함 좌(7행,8행)는 데이터의 개수를 행렬로 알려주고, null값이 있는지 알려줌 (null값이 있다면, 해결해야함 (평균,삭제 등)) 우(9행)는 데이터 타입을 알려..

Dacon 코드 공유에서 제공하고있는 코드들도 참고하였으나, 이해가 안되는 코드들은 과감하게 버리고 이해되는 부분만 파악해보았습니다. # 사용할 라이브러리 불러오기 import pandas as pd import matplotlib.pyplot as plt import seaborn as sns # 데이터 불러오기 train_df = pd.read_csv("./dataset/train.csv") train_df # 데이터의 총 행열 개수 확인 train_df.shape # null값이 존재하는지 확인 train_df.isnull().sum() # 기본적인 데이터 정보들을 얻어냄 # 각 column별 데이터 타입도 얻을 수 있음 train_df.info() # 각 열별 기초 통계량을 확인함 train_df..

글을 작성하기에 앞서... 사실 EDA를 이렇게 진행하는 것이 맞는지 확실하지는 않으나 최대한 열심히 공부해보았습니다.. 하하 EDA(Exploratory Data Analysis, 탐색적 데이터 분석) 참고: https://jalynne-kim.medium.com/데이터분석-기초-eda의-개념과-데이터분석-잘-하는-법-a3cac2cc5ebc 개념 벨연구소의 수학자 ‘존 튜키’가 개발한 데이터분석 과정에 대한 개념으로, 데이터를 분석하고 결과를 내는 과정에 있어서 지속적으로 해당 데이터에 대한 ‘탐색과 이해’를 기본으로 가져야 한다는 것을 의미 처음에 로우데이터(raw data)를 접할 때부터 데이터를 잘 이해하고 파악한 다음, 어떤 결과를 만들어낼 지 ‘이 feature(column)로 필터해보고, 저..

#새로운 분류모델 돌려보기 import warnings warnings.filterwarnings('ignore') from sklearn.model_selection import train_test_split import pandas as pd # training dataset 불러오기 data = pd.read_csv("C:/Users/lucy8/OneDrive/바탕 화면/train.csv", encoding = 'utf-8') # 맞춰야 하는 것은 type이기 때문에 type과 나머지 데이터들을 분리해줌 X = data[data.columns[:, :]] y = data[["class"]] # training dataset과 test dataset으로 쪼개기 # training과 test의 비율은 ..

서포트벡터머신 모델 #필요 패키지 불러오기 from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score import pandas as pd import warnings warnings.filterwarnings('ignore') from sklearn import svm #데이터 불러오기 train_data = pd.read_csv("C:/Users/twink/Documents/카카오톡 받은 파일/train.csv") # type과 나머지 데이터들을 분리 X = train_data.iloc[:, 2:] y = train_data.iloc[:, 1] # training dataset과 test d..

저번 시간에 알아본 나이브 베이즈 분류 모델을 직접 실습해보도록 하겠습니다~ *출처* https://m.blog.naver.com/baek2sm/221786426960 파이썬 나이브 베이즈 분류 머신러닝 알고리즘 예제 머신러닝&딥러닝 쿡북(MLCook) 사이킷런 나이브 베이즈 분류 예제 안녕하세요. 동네코더입니다. 이... blog.naver.com (이 분의 글을 참고하여 거의 똑같이 실습했기에 출처를 먼저 밝힙니다) 1. 나이브 베이즈 분류 모델 개요 - 머신러닝 기법 중 하나이며 전통적으로 텍스트 분류를 위해 사용되었던 알고리즘 - 지도학습 알고리즘 - 기본 원리는 베이즈 정리(Baye’s theorem)를 적용한 원리 - 흔히 스팸 메일 분류로 설명됨 스팸 메일 분류 텍스트에 등장하는 단어들의 빈..

KNN 알고리즘 구현하기 # 필요한 패키지 import import pandas as pd from sklearn.model_selection import train_test_split from sklearn.neighbors import KNeighborsClassifier from sklearn.metrics import accuracy_score # 데이터 로드 train_data = pd.read_csv("C:/Users/allye/Desktop/DSOB/WIDA Dacon/DCSTree/train.csv") # type과 나머지 데이터들을 분리해줌 X = train_data.iloc[:, 2:] y = train_data.iloc[:, 1] # 데이터셋 분할 (학습용 데이터와 검증용 데이터) #..

Decision Tree 코드는 블럭으로 따로 첨부 X https://github.com/cAhyoung/dacon_stars_type_clf/blob/main/practive_code/dt_rf_practice.py Hyper parameter criterion(기준) : default=”gini”, 데이터를 분류하기 위한 척도 “gini” 지니계수를 기반으로 한 데이터 분류 “entropy” 엔트로피 값을 기반으로 한 데이터 분류 “log_loss” log_loss를 기반으로 한 데이터 분류 splitter(분할) : default=”best” “best” 가장 좋은 분할 방식을 찾음 “random” 가장 좋은 랜덤 분할 방식을 찾음 max_depth : default=None 트리구조의 최고 깊이를..

☝🏻 WIDA_4주차 파이썬으로 모델 불러와서 간단하게 모델 돌려보고 accuracy 측정해보기 (decision tree 제외 한가지 골라서) 그 모델의 하이퍼파라미터 분석하기 평가 방법 알아보기(log loss 포함 2가지) 랜덤포레스트 모델 실행 코드 from sklearn.ensemble import RandomForestClassifier from sklearn.ensemble import BaggingClassifier from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score import pandas as pd import warnings warnings.filterwarnings..

1. 개요 Classification(분류)? - Supervised learning(지도학습)의 일종으로 기존 데이터의 카테고리 관계를 파악하고, 새롭게 관측된 데이터의 카테고리를 스스로 판별하는 과정 - 예시로 문자를 판별할 때, 스팸인지 아닌지 분류하는 것과 같은 단일분류 그리고 수능 점수가 몇 등급에 속하는지 판별하는 다중분류가 있음 * cf) 비지도 학습의 clustering : 다중분류와 유사하지만, 다중분류는 카테고리의 도메인이 정의되어있다는 점에서 큰 차이점을 지닌다 Classification(분류) 알고리즘 - 일련의 데이터가 포함되는 기존 카테고리들을 학습하고, 이것을 기반으로 컴퓨터는 데이터의 범주를 구분하여 경계를 나누는 것을 학습 2. 나이브 베이즈 (Naive Bayes) 개요 ..