수정하기 - 머신러닝알고리즘: Decision Boundary와 Margin의 의미는?

닉네임

비밀번호

제목

내용 [이미지 업로드는 권한이 있는 사람만 가능. 하단 카톡으로 연락]

머신러닝 분류 문제에서 “Decision Boundary(결정 경계)”와 “Margin(여유도 또는 마진)”은 모델이 학습한 후 입력 공간을 어떻게 나누고, 그 나뉜 경계로부터 데이터가 얼마나 떨어져 있는지를 설명하는 중요한 개념입니다. 아래에 두 개념을 글로 풀어서 상세히 설명합니다.    1. Decision Boundary(결정 경계)    머신러닝 분류 모델은 학습 데이터로부터 “어떤 특성 값 조합을 양성(positive) 또는 음성(negative) 클래스”로 분류할지 배우게 됩니다. 이때 입력 특성 공간(feature space)을 두 영역으로 나누는 경계가 곧 결정 경계입니다.    - 선형 분류기(예: 선형 로지스틱 회귀, 선형 SVM)의 경우 결정 경계는 직선(2차원), 평면(3차원), 또는 초평면(고차원)으로 표현됩니다. 수식으로는 wᵀx + b = 0 형태이며, 이 식을 만족하는 모든 x가 경계를 이루게 됩니다.    - 비선형 분류기(예: 커널 SVM, 결정 트리, 신경망)의 경우 결정 경계는 곡선이나 복잡한 형태가 될 수 있습니다. 예컨대 RBF 커널 SVM은 입력 공간에 비선형 변환을 적용한 뒤 고차원 초평면으로 분리하는 효과를 내므로, 원래 공간에서는 구형(원형) 경계나 물결 모양 경계를 형성할 수 있습니다.    - 결정 경계의 위치는 모델이 “이 지점까지는 클래스 A, 이 지점 이상은 클래스 B”라고 판단하는 기준이기도 하며, 새로운 데이터가 어느 쪽 영역에 속하느냐에 따라 예측 결과가 달라집니다.    2. Margin(여유도 또는 마진)    Margin은 분류 경계로부터 가장 가까운 학습 샘플(서포트 벡터)이 얼마나 떨어져 있는지를 나타내는 거리입니다. 경계와 데이터 포인트 사이의 여유 거리를 최대화하면 일반화 성능이 좋아진다는 SVM의 핵심 아이디어가 여기에 기반합니다.    - 기하학적 마진(Geometric Margin): 경계면으로부터 한 점 xᵢ까지의 직선 거리를 말합니다. 선형 분류기의 wᵀx + b = 0 경계에 대해 해당 샘플의 기하학적 마진은 |wᵀxᵢ + b| / ‖w‖ 로 계산됩니다.    - 기능적 마진(Functional Margin): 단순히 wᵀxᵢ + b 의 부호와 크기로 표현된 값으로, 실제 기하학적 거리를 ‖w‖ 로 나누지 않은 형태입니다. 이 값이 클수록 모델이 해당 샘플을 강하게(확신을 갖고) 분류했다고 볼 수 있습니다.    - SVM은 “하드 마진”과 “소프트 마진” 개념으로 나뉘는데, 하드 마진은 모든 샘플이 경계로부터 최소한 일정 거리 이상 떨어지도록(즉, 잘못 분류가 전혀 없도록) w와 b를 찾는 것이고, 소프트 마진은 일부 오분류를 허용하되 마진 위반(마진보다 가까이 있거나 반대편에 있는 샘플)에 패널티를 부여하면서 최적의 w, b를 찾는 방식입니다.    3. Margin의 역할과 일반화    마진이 넓다는 것은 “결정 경계가 각 클래스의 데이터를 충분히 멀리 떨어뜨려 안정적으로 분류하고 있다”는 뜻입니다.    - 일반적으로 마진이 크면 과적합(overfitting)의 위험이 줄고 새로운 데이터에 대한 일반화 성능이 향상됩니다.    - 반대로 마진이 너무 좁거나, 과도하게 복잡한 경계를 사용하면 학습 데이터에만 특화된 모델이 되어 테스트 시 성능이 떨어질 수 있습니다(과적합).      4. 다른 알고리즘과의 비교    - 로지스틱 회귀는 직접적으로 마진을 최대화하도록 설계된 것은 아니지만, wᵀx + b 의 절댓값이 클수록 예측 확신이 높다는 관점에서 “마진 비슷한” 개념으로 볼 수 있습니다.    - 신경망 분류에서도 출력층의 softmax 확률이 0.5(이진 분류 시)를 기준으로 경계가 생기며, 확률이 0.5에서 멀어질수록 마진(모델의 확신)이 커진다고 해석할 수 있습니다.      정리하자면, 결정 경계는 모델이 클래스 구분을 위해 구축한 “구분선(초평면)”이고, 마진은 그 경계로부터 데이터가 얼마나 여유 있게 떨어져 있는지를 나타내는 “안전 여백”입니다. 특히 SVM처럼 마진을 직접 최대화하는 방법은 경계를 안정적으로 확보하여 새로운 데이터에 대한 예측력을 높이는 핵심 원리로 작용합니다.