[DACON/참고자료] SVM 참고자료

또 다른 모델, SVM

from sklearn import svm
from sklearn.metrics import accuracy_score
from sklearn.model_selection import train_test_split
import pandas as pd

# svm 모델 불러오기 7가지 모델 중 svm.SVC로 불러옴
svm_clf = svm.SVC(kernel="linear")

# training dataset 불러오기
train_data = pd.read_csv("C:/Users/1ayou/PycharmProjects/dacon_astronomy/dataset/train.csv")

X = train_data.iloc[:, 2:]
y = train_data.iloc[:, 1]

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=11)

# 모델 학습, 근데 왜 안돌아갈까?
svm_clf.fit(X_train, y_train)

# 모델 예측
svm_pred = svm_clf.predict(X_test)

# 정확도 출력
print(accuracy_score(y_test, svm_pred))

• svm 모델의 장점
  • 고차원 공간에서 좋은 성능을 보임
  • 샘플의 수보다 차원 수가 더 큰 경우에도 효과적임
  • support vectors라고 불리는 결정함수에서 트레이닝 포인트의 부분집합이 사용됨 → 메모리 효율이 좋음
  • 다양한 커널 함수들은 결정함수를 구체화할 수 있음, 일반적인 커널들은 제공되나 직접 커널들을 제작할 수 있음
• svm 모델의 단점
  • 피쳐의 수가 샘플의 수보다 훨씬 더 크다면 커널함수를 고르고 정규하여 오버피팅을 피하는 것이 필수적임
  • svm은 확률의 추정치를 바로 제공하지 않아, 이를 계산하기 위해 비용이 많이 필요한 five-fold cross-validation을 이용

SVM의 하이퍼파라미터 분석

• SVM 모델은 다음과같은 것들이 있다.
• SVM 모델들 중 multi-class classification이 가능한 모델들이 존재함
  • ovo(One-Versus-One)이라고 하며, 하나의 분류기가 여러 클래스 중 두가지 클래스에 대하여 데이터를 학습, 이렇게 여러 분류기들이 각각의 두 클래스에 대해서 학습한 후 각 분류기의 결과를 조합하여 최종 분류를 결정
  • ovr(One-Versus-Rest) 분류기는 하나의 클래스를 다른 모든 클래스와 분류하도록 학습하는 방식
• svm.LinearSVC
  • binary, multi class classification이 모두 가능함
  • kernel 파라미터가 없으며, 선형으로 추정해야 하기 때문
  • fit 할 때 파라미터는 2개가 들어감(X_train, y_train)
  • ovr 방식을 이용해 multi-class 분류 시행
    • multi_class = “cramer_singer”

• svm.LinearSVR
  • Linear Support Vector Regression
• svm.NuSVC
  • Nu-Support Vector Classification
  • binary, multi class classification이 모두 가능함
  • svm.SVC와 유사한 방식이지만 수학공식과 구성된 파라미터들이 조금씩 다름
  • fit 할 때 파라미터는 2개가 들어감(X_train, y_train)
  • ovo 방식을 이용해 multi-class 분류 시행
• svm.NuSVR
  • Nu-Support Vector Regression
• svm.OneClassSVM
  • Unsupervised Outlier Detection
• svm.SVC
  • C-Support Vector Classification
  • binary, multi class classification이 모두 가능함
  • fit 할 때 파라미터는 2개가 들어감(X_train, y_train)
  • ovo 방식을 이용해 multi-class 분류 시행
• svm.SVR
  • Epsilon-Support Vector Regression
• svm.li_min_c
  • Return the lowest bound for C
• svm 모델의 결정함수는 트레이닝 데이터셋의 부분집합에 의해 결정되는데, 이를 support vectors라고 부름
• 이 support vectors의 몇몇 성질들은 세가지 attribute을 이용해 구할 수 있음
  • suppport_vectors_ , support_ , n_support_

출처

• https://scikit-learn.org/stable/modules/classes.html#module-sklearn.svm
• https://scikit-learn.org/stable/modules/svm.html#svm
• https://scikit-learn.org/stable/modules/generated/sklearn.svm.LinearSVC.html#sklearn.svm.LinearSVC
• chat gpt4