수정하기 - 머신러닝알고리즘: Naive Bayes 분류기의 원리는 무엇인가요?

닉네임

비밀번호

제목

내용 [이미지 업로드는 권한이 있는 사람만 가능. 하단 카톡으로 연락]

나이브 베이즈(Naive Bayes) 분류기는 기계학습에서 간단하면서도 빠르게 동작하는 확률 기반 분류 알고리즘입니다. 그 핵심 아이디어는 베이즈 정리(Bayes’ theorem)를 이용해 주어진 입력 데이터가 특정 클래스에 속할 사후확률(posterior probability)을 계산하고, 가장 확률이 높은 클래스를 예측 값으로 선택하는 것입니다. 다음은 그 작동 원리를 단계별로 설명한 내용입니다.    1. 베이즈 정리의 적용       베이즈 정리에 따르면, 어떤 클래스 C가 주어졌을 때 관측된 특징 벡터 X = (x₁, x₂, …, xₙ)가 나올 확률 P(C|X)는 다음과 같이 계산됩니다.       P(C|X) = P(C) · P(X|C) / P(X)       여기서       - P(C) : 클래스 C의 사전확률(prior probability)       - P(X|C) : 클래스 C일 때 특징 X가 관측될 조건부확률(likelihood)       - P(X) : 모든 클래스에 걸친 특징 X의 주변확률(marginal likelihood)         분류에서는 P(X)가 모든 클래스에 대해 동일하게 적용되므로 비교 대상에서 사라지고,       P(C|X) ∝ P(C) · P(X|C)       즉, P(C)와 P(X|C)의 곱이 가장 큰 클래스를 예측 결과로 선택합니다.    2. 조건부 독립 가정(naive assumption)       보통 특징 X를 구성하는 각 피처 xᵢ들은 서로 독립적이지 않습니다.       하지만 나이브 베이즈는 “각 피처들은 클래스가 주어졌을 때 서로 독립이다”라고 가정(나이브 가정)을 둡니다.       이 가정을 적용하면 P(X|C)를 개별 피처의 곱으로 단순화할 수 있습니다.       P(X|C) = P(x₁, x₂, …, xₙ | C) ≈ ∏ᵢ P(xᵢ | C)       따라서 계산량이 기하급수적으로 줄고 모델이 간단해 집니다.    3. <a href='https://sangseek.com/sangseeks/확률 추정/ko'>확률 추정</a> 및 학습       - 사전확률 P(C)는 학습 데이터에서 각 클래스 샘플의 비율로 추정합니다.       - 조건부확률 P(xᵢ | C)는 피처의 종류에 따라 다르게 추정합니다.         • 카테고리형(이산) 피처: 각 값이 나타난 빈도로 나누어 확률을 계산하고 필요 시 라플라스(Laplace) 스무딩을 적용         • 연속형 피처: 가우시안(Gaussian) 분포로 가정해 평균 μ 및 분산 σ²를 학습하고, 정규분포 밀도로 확률을 계산       이렇게 추정된 확률 값을 이용해 새로운 데이터의 사후확률을 빠르게 계산할 수 있습니다.    4. 예측 과정       1) 입력 데이터 X가 주어지면 각 클래스 C에 대해 P(C) · ∏ᵢ P(xᵢ | C)를 계산       2) 그중 가장 큰 값을 갖는 클래스를 선택       계산이 매우 간단하고 병렬화에 유리해 대용량 텍스트 분류(스팸 필터링, 문서 분류) 등에서 널리 쓰입니다.    5. 장·단점       - 장점: 학습·예측 속도가 빠르고 메모리 요구량이 작으며, 데이터가 부족해도 비교적 안정적       - 단점: 피처 간 독립성 가정이 실제로는 잘 맞지 않아 성능 한계가 있을 수 있으며, 희소성 데이터에 민감      이처럼 나이브 베이즈 분류기는 베이즈 정리를 기반으로 한 직관적인 확률 프레임워크 위에 “조건부 독립”이라는 단순화 가정을 더해 구현 복잡도를 크게 낮춘 알고리즘입니다. 간단하지만 실제 응용에서는 꽤 준수한 성능을 보입니다.