수정하기 - 머신러닝알고리즘: SVM(Support Vector Machine)의 기본 개념은 무엇인가요?

닉네임

비밀번호

제목

내용 [이미지 업로드는 권한이 있는 사람만 가능. 하단 카톡으로 연락]

SVM(Support Vector Machine)는 주로 분류(classification)와 회귀(regression)에 쓰이는 지도학습 기법 중 하나로, 두 개 이상의 클래스를 구분하는 최적의 경계를 찾는 데 초점을 맞춥니다. SVM의 기본 개념은 다음과 같은 흐름으로 이해할 수 있습니다.    1. 결정경계와 초평면       데이터가 두 개의 클래스로 나뉘어 있다고 가정할 때, SVM은 이 두 클래스를 구분하는 선형(또는 초평면, hyperplane)을 찾으려고 합니다. 2차원 공간에서는 선(line)이고, 3차원 이상 공간에서는 평면 또는 초평면이 됩니다. 이 초평면은 “어느 한쪽 클래스의 평균”을 기준으로 하지 않고, 클래스 간의 간극(gap)을 최대화하는 방향으로 설정됩니다.    2. 마진(margin)의 개념       SVM에서 가장 중요한 개념 중 하나는 ‘마진’입니다. 마진은 초평면으로부터 각 클래스에 속한 데이터 포인트들까지의 거리 중 최소값을 의미합니다. SVM은 이 마진을 최대화하는 초평면을 선택함으로써, 결정경계가 데이터에 과도하게 치우치지 않도록 견고한 분류기를 학습합니다. 마진이 크다는 것은 초평면 근처에 있는 데이터가 적다는 뜻이며, 이는 일반화 성능(새로운 데이터에 대한 예측력)을 높이는 데 도움이 됩니다.    3. 서포트 벡터(<a href='https://sangseek.com/sangseeks/support vectors/ko'>support vectors</a>)       마진을 결정하는 핵심 요소는 바로 초평면에서 가장 가까이 위치한 데이터 포인트들인데, 이들을 ‘서포트 벡터’라고 부릅니다. 즉, SVM 모델은 전체 데이터가 아니라 이 몇 개의 서포트 벡터만으로 학습된다고 볼 수 있습니다. 나머지 데이터는 모델의 결정경계에 영향을 주지 않으며, 따라서 계산량을 줄이고 모델 해석을 단순화하는 데 기여합니다.    4. 최적화 문제와 해법       SVM은 마진을 최대화하기 위해 다음과 같은 최적화 문제를 풉니다.       (1) 초평면의 기울기를 나타내는 가중치 벡터 w를 최소화       (2) 모든 데이터가 올바르게 분류되도록 제약을 설정       이때 Lagrange 승수법을 이용해 ‘쌍대 문제(dual problem)’로 변환하면, 서포트 벡터만을 사용해 최적해를 구할 수 있습니다. 이를 통해 고차원 공간에서도 계산 효율을 유지할 수 있습니다.    5. 소프트 마진(<a href='https://sangseek.com/sangseeks/soft margin/ko'>soft margin</a>)과 C 파라미터       실제 데이터는 완벽하게 선형 분리되지 않는 경우가 많습니다. 이때 SVM은 ‘소프트 마진’ 전략을 사용하여 일부 오분류를 허용하면서도 마진을 최대화합니다. 오분류에 부여하는 벌점의 크기는 C라는 하이퍼파라미터로 제어되며, C가 크면 오분류를 더 엄격히 억제하고, 작으면 마진을 더 넓히는 쪽으로 모델이 유연해집니다.    6. 커널 트릭(kernel trick)을 통한 비선형 분류       선형 초평면으로는 해결하기 어려운 복잡한 분포의 데이터를 다루기 위해 SVM은 커널 함수를 도입합니다. 커널 함수는 입력 공간을 고차원 특징 공간(feature space)으로 암묵적으로 변환해 주기 때문에, 고차원 공간에서는 선형으로 분리 가능한 형태가 됩니다. 대표적인 커널에는 다항(polynomial), RBF(Radial Basis Function), 시그모이드(sigmoid) 등이 있으며, 데이터 특성에 따라 적절한 커널을 선택해 모델 성능을 끌어올릴 수 있습니다.    7. 요약       요컨대 SVM의 핵심은 ‘마진을 최대화하는 선형 초평면’을 찾는 것이며, 서포트 벡터와 Lagrange 이론을 통해 효율적으로 해를 구합니다. 또 소프트 마진과 커널 기법을 통해 비선형 및 노이즈가 섞인 실제 문제에도 강건하게 적용할 수 있습니다. 이러한 특성 덕분에 SVM은 특히 중소규모 데이터셋에서 뛰어난 분류 성능을 발휘하며, 텍스트 분류나 이미지 인식 등 다양한 분야에서 널리 사용되고 있습니다.