머신러닝알고리즘: k-최근접 이웃 알고리즘의 작동 방식은 무엇인가요?

자주 묻는 질문(FAQ)

1. K-최근접 이웃 알고리즘이란 무엇인가요?
답변:
K-최근접 이웃(k-Nearest Neighbors, KNN) 알고리즘은 새로운 데이터 포인트의 분류(Classification)나 연속값 예측(Regression)을 위해 학습 데이터 중 ‘가장 가까운’ K개의 이웃을 찾아 그 결과를 결정하는 비모수(non-parametric) 방식의 지도 학습 알고리즘입니다.

2. KNN은 어떻게 작동하나요?
답변:
1) 학습 단계: 별도의 모델 파라미터 학습 과정 없이 전체 학습 데이터를 메모리에 저장
2) 예측 단계:
- 새로운 데이터 포인트와 저장된 학습 데이터 간 거리를 계산
- 거리 기준으로 가장 가까운 K개의 이웃을 선택
- 분류: 이웃 다수의 클래스 투표를 통해 예측
- 회귀: 이웃 값의 평균(또는 가중 평균)으로 예측

3. ‘K’ 값은 무엇을 의미하며 어떻게 선택하나요?
답변:
- K는 참조할 이웃의 개수
- K가 작으면 노이즈에 민감(과적합 위험), 크면 경계가 뭉개져 과소적합 위험
- 일반적으로 홀수로 설정(클래스가 2개일 때 다수결 동률 방지)
- 최적 K는 교차검증(Cross-Validation)으로 탐색

4. 거리 측정 방법에는 어떤 것이 있나요?
답변:
- 유클리드 거리(Euclidean): 기본, 연속형 변수에 적합
- 맨해튼 거리(Manhattan): 고차원·격자형 데이터에 사용
- 민코프스키 거리(Minkowski): 유클리드·맨해튼 거리 일반화
- 코사인 유사도(Cosine): 방향성(벡터 각도) 기반, 텍스트나 문서 유사도
- 마할라노비스 거리(Mahalanobis): 변수 간 공분산 고려

5. 분류 문제와 회귀 문제에서의 차이는 무엇인가요?
답변:
- 분류(Classification): 이웃 다수표를 통해 카테고리 결정
- 회귀(Regression): 이웃의 실수값 평균(또는 거리 가중 평균)으로 연속값 예측

6. 데이터 전처리는 꼭 필요한가요?
답변:
예, 거리 계산 민감도 때문에 중요
- 스케일링: 표준화(Standardization)·정규화(Normalization)
- 이상치 제거: 극단치가 거리 계산을 왜곡
- 결측치 처리: 예측 정확도 저하 방지

7. KNN의 장점은 무엇인가요?
답변:
- 이해·구현이 쉽고 직관적
- 별도 학습 과정 없이 데이터 저장만으로 분류·회귀 가능
- 새로운 데이터가 들어와도 즉시 예측에 반영

8. KNN의 단점은 무엇인가요? 답변:
- 계산 비용이 높음: 예측 시 모든 학습 데이터를 순회
- 메모리 사용량 큼: 학습 데이터 전부 저장
- 고차원 데이터에서 거리 구분력 저하(저주받은 차원)
- 이상치와 불균형 데이터에 민감

9. 시간 복잡도와 공간 복잡도는 어떻게 되나요?
답변:
- 학습: O(1) (저장만 하므로)
- 예측: O(N·d)
· N = 학습 샘플 수, d = 특징 수
- 공간: O(N·d)

10. 파라미터 튜닝 및 검증 방법은?
답변:
- K 값 결정: 교차검증을 통해 여러 K 평가
- 거리 측정 방식 선택: 실험적으로 성능 비교
- 가중치 부여: 거리가 가까울수록 가중치 높이는 기법(weighted KNN) 적용
- 데이터 전처리 조합(Hyperparameter)도 함께 검증

11. 성능 향상을 위한 기법은 무엇인가요?
답변:
- 차원 축소: PCA·LDA로 특징 공간 축소
- 효율적 데이터 구조: KD-트리, Ball-트리 사용
- 가중치 기반 투표: 거리 역수 가중치 적용
- 앙상블: 여러 KNN 모델 결과 앙상블

12. KNN의 대표적 활용 사례는?
답변:
- 이미지·문서 분류
- 사용자 추천 시스템(유사 사용자 기반 추천)
- 이상치 탐지(Nearest neighbor distance)
- 질병 진단·의료·생물통계학 데이터 분석

13. KNN을 실제로 구현하려면 어떤 단계를 거치나요?
답변:
1) 데이터 수집 및 전처리(스케일링·결측치 처리)
2) 적절한 거리 함수·K 값 선택
3) 학습 데이터 저장
4) 예측 시 거리 계산 → K개의 이웃 선택 → 다수표/평균 계산
5) 교차검증으로 성능 평가 및 파라미터 조정

14. KNN을 사용할 때 주의할 점은요?
답변:
- 데이터 스케일링을 반드시 수행할 것
- 불균형 클래스 문제 해결(샘플링·가중치)
- 고차원 공간에서의 성능 저하 예방
- 실시간 예측 환경에서는 계산 비용 고려

— 끝 —

k-최근접 이웃(k-Nearest Neighbors, kNN) 알고리즘은 지도학습의 한 방법으로, 학습 단계에서 별도의 모델을 생성하거나 파라미터를 최적화하지 않고 단순히 훈련 데이터를 그대로 저장해 두었다가, 새로운 데이터가 들어오면 저장된 데이터와의 거리를 계산하여 결과를 예측합니다.

이 때문에 kNN을 ‘게으른 학습(lazy learning)’ 알고리즘이라고도 부릅니다.

첫째, 기본 아이디어는 “비슷한 데이터일수록 비슷한 결과를 가진다”는 가정입니다.

예를 들어 꽃의 종류를 구분하고 싶다면, 꽃잎 길이·너비 같은 특성(feature)을 이용해 이미 라벨(품종)이 붙은 꽃 샘플을 저장해 두고, 새로운 꽃 샘플이 들어오면 저장된 샘플들과의 거리를 비교하여 가장 가까운 k개의 데이터를 찾아냅니다.

둘째, 거리 계산 방식은 대개 유클리드 거리(Euclidean distance)를 많이 쓰지만, 맨해튼 거리(Manhattan distance)나 민코프스키 거리(Minkowski distance) 등도 활용할 수 있습니다.

이 거리를 계산할 때는 각 특성의 단위나 분포 차이가 결과에 크게 영향을 주므로, 사전에 표준화(Standardization)나 정규화(Normalization) 과정을 거쳐 특성별 스케일을 맞추는 것이 중요합니다.

셋째, k개의 이웃을 고른 뒤 결과를 결정하는 방식은 분류(classification)와 회귀(regression) 문제에서 다릅니다.

- 분류 문제에서는 k개 이웃 중 가장 많이 등장한 클래스(다수결)를 예측값으로 삼습니다.

- 회귀 문제에서는 k개 이웃의 타깃 값(연속형 값)을 단순 평균하거나, 거리의 역수를 가중치로 주어 가중 평균하는 방법을 씁니다.

넷째, k 값의 선택은 모델 성능에 결정적 영향을 미칩니다.

- k가 너무 작으면(예: k=1) 모델이 주변 소수 이웃에 과도하게 민감해져 잡음에 취약해지고 과적합(overfitting)이 생깁니다.

- k가 너무 크면(예: 데이터 전체 크기와 비슷) 주변 이웃뿐 아니라 멀리 있는 점들의 영향까지 받게 되어 경계가 지나치게 부드러워지면서 과소적합(underfitting)이 발생할 수 있습니다.

보통 교차검증(cross-validation)을 통해 최적의 k를 찾습니다.

다섯째, 예측 단계에서 매번 훈련 데이터 전체와 거리를 비교해야 하므로, 데이터가 많아지면 시간이 오래 걸리고 메모리 사용량도 증가합니다.

이를 보완하기 위해 KD-트리·Ball-트리 같은 공간 분할 자료구조를 사용하거나, 근사 최근접 이웃(Approximate Nearest Neighbor) 탐색 기법을 적용하기도 합니다.

kNN의 장단점을 정리하면 다음과 같습니다.

장점: - 구현이 쉽고 이해하기 직관적이다.

- 새로운 데이터가 들어올 때 기존 학습 모델을 다시 학습할 필요가 없다. 단점: - 예측 속도가 느리고 메모리 소모가 크다. - 고차원 데이터에서는 거리 계산이 무의미해지기 쉬운 ‘차원의 저주(curse of dimensionality)’ 문제에 취약하다. - 특성 스케일에 민감하므로 전처리 작업이 반드시 필요하다. 이처럼 k-최근접 이웃 알고리즘은 단순하지만 데이터의 구조나 분포를 잘 반영할 수 있고, 작은 규모의 문제에서는 충분히 강력하게 쓸 수 있는 유용한 방법입니다.

새로운 문제에 적용할 때는 k 값, 거리 척도, 특성 전처리, 자료구조 등에 유의하여 성능을 최적화해야 합니다.