머신러닝알고리즘: 군집화(clustering) 기법에는 어떤 것들이 있나요?

1. Q1. 군집화(clustering)란 무엇인가요?
A1. 군집화는 비지도학습(unsupervised learning)의 한 분야로, 데이터 포인트를 유사성(similarity)에 따라 여러 개의 그룹(클러스터)으로 자동 분류하는 기법입니다. 각 클러스터 내의 데이터는 서로 비슷하고, 클러스터 간에는 차이가 크게 하여 데이터 구조를 파악하거나 전처리, 이상치 탐지, 추천 시스템 등에 활용합니다.

2. Q2. 군집화 기법은 어떻게 분류되나요?
A2. 군집화 알고리즘은 주로 다음과 같은 방식으로 분류됩니다.
1) 파티셔닝(partitioning) 기법: K-means, K-medoids(PAM)
2) 계층적(hierarchical) 기법: 병합(agglomerative), 분할(divisive) 방법
3) 밀도기반(density-based) 기법: DBSCAN, OPTICS
4) 분포기반(distribution-based) 기법: Gaussian Mixture Model(GMM)
5) 그래프/스펙트럴(spectral) 기법: Spectral Clustering
6) 격자(grid-based) 기법: STING, CLIQUE
7) 퍼지(fuzzy) 기법: Fuzzy C-means
8) 하위공간(subspace)/고차원 클러스터링 기법 등

3. Q3. K-means 군집화는 어떻게 동작하나요?
A3.
1) 초기 K개의 중심(centroid)을 랜덤 또는 Heuristic하게 설정
2) 각 데이터 포인트를 가장 가까운 중심에 할당
3) 할당된 클러스터의 중심을 재계산
4) 중심 이동이 멈출 때까지(또는 지정 횟수까지) 2·3 과정을 반복
특장점: 구현이 간단하고 대용량 데이터에 빠름
단점: 클러스터 수 K를 사전에 알아야 하고, 구형(spherical) 분포에 민감, 이상치(outlier)에 취약

4. Q4. K-medoids (PAM) 알고리즘이란?
A4. K-means와 유사하지만, 중심을 데이터 포인트(medoid) 중 하나로 제한합니다. 대표 알고리즘은 PAM(Partitioning Around Medoids).
장점: 이상치에 강건(robust)
단점: 계산량이 많아 대규모 데이터에는 부적합

5. Q5. 계층적(hierarchical) 군집화의 특징은?
A5.
1) 병합형(agglomerative): 모든 데이터를 각각의 클러스터로 시작해 거리가 가장 가까운 클러스터를 반복 병합
2) 분할형(divisive): 전체 데이터를 하나의 클러스터로 시작해 반복 분할
덴드로그램(dendrogram)으로 계층 구조 시각화 가능
장점: 클러스터 수를 사전 지정할 필요가 없고, 계층적 관계 파악 가능
단점: 계산 복잡도가 높아(N^2~N^3) 대용량 데이터에는 부적합

6. Q6. DBSCAN과 OPTICS는 어떤 밀도 기반 기법인가요?
A6.
• DBSCAN(Density-Based Spatial Clustering of Applications with Noise)
– ε(반지름) 이내에 최소 MinPts 개 이상의 이웃 포인트가 있으면 핵심점(core point)
– 핵심점을 기준으로 밀집된 영역을 확장하며 이상치는 노이즈로 분류
– 장점: 클러스터 수 미리 지정 불필요, 비구형 클러스터 탐지 가능
– 단점: ε, MinPts 파라미터 민감, 밀도 차이가 큰 데이터에는 성능 저하
• OPTICS(Ordering Points To Identify the Clustering Structure)
– DBSCAN의 파라미터 선택 한계를 보완
– 데이터 포인트 간의 reachability distance 순서를 생성해 클러스터 구조를 계층적으로 분석

7. Q7. Gaussian Mixture Model(GMM) 기반 클러스터링이란?
A7.
– 데이터가 여러 개의 가우시안 분포(Gaussian) 혼합으로 생성되었다는 가정 하에, EM(Expectation-Maximization) 알고리즘으로 각 가우시안 컴포넌트의 평균, 공분산, 혼합 계수를 추정
– 소프트 클러스터링(soft clustering): 각 데이터가 특정 클러스터에 속할 확률을 반환
장점: 다양한 분포 형태 모델링 가능, 소프트 할당으로 애매한 경계 처리
단점: 가우시안 형태 가정, 초기값에 민감, 이상치 영향

8. Q8. 스펙트럴 클러스터링(Spectral Clustering)이란?
A8. – 데이터 포인트 간 유사도 그래프(similarity graph)를 구성하고, 라플라시안 행렬(Laplacian)을 고유분해(eigendecomposition)
– 상위 고유 벡터(eigenvector)를 사용해 저차원 공간에서 K-means 등을 적용
장점: 비구형 클러스터, 연결 구조, 복잡한 형태 군집화에 강점
단점: 그래프 구축 및 고유분해로 대용량에 비효율적, 파라미터(인접 행렬) 설정 복잡

9. Q9. 격자(grid-based) 기법에는 어떤 것들이 있나요?
A9.
– STING(STatistical INformation Grid): 공간을 격자로 나누고, 각 셀마다 통계 정보를 저장해 클러스터 탐지
– CLIQUE, WaveCluster 등: 고차원 공간을 격자 구역으로 분할해 빈도가 높은 영역으로 군집 생성
장점: 연산 속도가 빠르고 메모리 사용 예측 가능
단점: 격자 크기 결정이 어려우며, 클러스터 경계가 그리드 축에 의존

10. Q10. 퍼지(Fuzzy) 군집화란 무엇이며, Fuzzy C-means의 특징은?
A10.
– 소프트 클러스터링 기법으로, 각 데이터가 클러스터에 속할 소속도(membership)를 0~1 사이 값으로 가짐
– Fuzzy C-means는 membership과 클러스터 중심을 반복 업데이트
장점: 경계가 모호한 데이터 처리 우수
단점: 계산 복잡도, 초기값 민감성

11. Q11. 최적의 클러스터 수(K)를 어떻게 결정하나요?
A11.
1) Elbow Method: SSE(sum of squared errors) 감소가 완만해지는 지점을 찾음
2) 실루엣 점수(Silhouette Score): 군집 응집도(cohesion)와 분리도(separation)를 정량화, 최대값인 K 선택
3) 갭 통계량(Gap Statistic): 관측값과 무작위 데이터와의 성능 차이 이용
4) 도메인 지식 또는 내부/외부 평가 지표 활용

12. Q12. 군집화 성능 평가는 어떻게 하나요?
A12.
– 내부 평가 지표(internal): Silhouette Score, Davies–Bouldin Index, Calinski–Harabasz Index 등, 레이블 불필요
– 외부 평가 지표(external): 레이블이 있을 때 ARI(Adjusted Rand Index), NMI(Normalized Mutual Information) 등
– 시각화: 2D 투영(PCA, t-SNE)으로 군집 분포 확인

13. Q13. 고차원 데이터 군집화 시 주의할 점과 기법은?
A13.
– 차원의 저주(curse of dimensionality): 거리 개념 희석 → 거리/밀도 기반 성능 저하
– 차원 축소 기법(PCA, t-SNE, UMAP)으로 저차원 변환 후 군집화
– subspace clustering, sparse subspace clustering: 특징 하위공간에서 군집화
– 혼합 모형, 스펙트럴 클러스터링 활용

14. Q14. 각 군집화 기법의 장단점을 어떻게 비교하나요?
A14.
1) K-means: 속도 빠르고 단순, 구형 클러스터에 유리
2) K-medoids: 이상치 강건
3) Hierarchical: 계층 정보 제공, 작은 데이터에 적합
4) DBSCAN/OPTICS: 비구형, 노이즈 탐지, 파라미터 민감
5) GMM: 소프트 할당, 모델 가정 필요
6) Spectral: 복잡한 구조, 계산 비용 높음
7) Grid-based: 속도, 메모리 예측 가능, 그리드 의존
8) Fuzzy: 경계 애매한 데이터 우수, 계산 복잡

15. Q15. 실무에서 군집화 적용 시 팁은?
A15.
1) 데이터 전처리: 스케일링, 이상치 처리, 결측치 보정
2) 적절한 유사도(거리) 함수 선택: 유클리드, 맨해튼, 코사인 등
3) 파라미터 튜닝: 그리드 서치, 실루엣 점수 등 활용
4) 차원 축소 및 피처 선택: 군집 구조 명확화
5) 도메인 지식 접목: 클러스터 해석 및 후속 조치 최적화

머신러닝에서 군집화(clustering) 기법은 주어진 데이터의 레이블 없이 비슷한 특성을 지닌 샘플들끼리 묶어주는 비지도 학습 방법입니다.

대표적인 기법들을 크게 “중심 기반(centroid-based)”, “계층적(hierarchical)”, “밀도 기반(density-based)”, “모델 기반(model-based)”, “그래프 기반(graph-based)” 등으로 분류하고, 각 방법의 원리·장단점·응용 예시를 살펴보겠습니다.

1. 중심 기반 군집화 1) K-means • 원리: 사전에 정한 군집 수 K만큼 중심(centroid)을 초기화한 뒤, 각 샘플을 가장 가까운 중심에 할당(cluster assignment)하고, 그 다음 각 군집에 속한 샘플들의 평균 위치로 중심을 이동(update)하는 과정을 반복. • 장점: 구현과 계산이 비교적 간단하고, 대용량 데이터에도 빠르게 수렴. • 단점: K를 미리 알아야 하고, 구형(cluster가 구형이라 가정) 분포에만 잘 작동. 이상치에 민감하고, 초기 중심 선택에 따라 결과가 달라질 수 있음.

2) K-medoids (PAM, CLARA, CLARANS) • 원리: K-means가 군집의 대표점을 평균(centroid)으로 삼는 반면, K-medoids는 실제 데이터 포인트 중 하나를 대표(medoid)로 선택. PAM(Partitioning Around Medoids)은 소규모 데이터에, CLARA(CLustering LARge Applications)·CLARANS(CLustering Large Applications based upon RANdomized Search)는 대규모에도 적용 가능하도록 최적화를 꾀함. • 장점: 평균보다 실제 관측값을 대표점으로 삼아 이상치에 더 강건. • 단점: 계산 비용이 K-means보다 높고, 대규모에선 속도가 느릴 수 있음.

2. 계층적 군집화 계층적 접근은 데이터 샘플을 하나씩 또는 전체 묶음으로 접근해 병합(divisive)하거나 분할(agglomerative)하며 트리 구조(dendrogram)를 형성. 1) Agglomerative(병합형) • 원리: 처음에 각 샘플을 하나의 군집으로 시작해, 가장 유사도가 높은 두 군집을 반복적으로 합쳐 나감. 유사도는 single-linkage(최단거리), complete-linkage(최장거리), average-linkage(군집 내 모든 거리에 대한 평균), Ward’s method(분산 최소화) 등으로 측정. • 장점: 덴드로그램을 통해 다양한 K 값에 대응 가능한 유연성. • 단점: 샘플 수가 많아지면 메모리·시간 복잡도가 급격히 늘어나고, 초기 병합이 잘못되면 이후 수정이 어려움.

2) Divisive(분할형) • 원리: 전체 데이터를 하나의 군집으로 보고, 반복적으로 군집을 나누어 감. 연산 복잡도가 더 크기 때문에 실제 적용 빈도는 병합형보다 낮음.

3. 밀도 기반 군집화 데이터가 밀집한 영역을 군집으로 보고, 희박한 영역을 잡음(noise)으로 간주하는 방법들입니다.

1) DBSCAN (Density-Based Spatial Clustering of Applications with Noise) • 원리: ε 반경 내에 최소한 MinPts 개 이상의 샘플이 모여 있으면 core point로 보고, 이웃점을 확장(expand)하면서 군집을 형성. 경계점(border point), 노이즈(point)로 구분. • 장점: 비구형(non-convex) 분포에도 잘 작동하며, 노이즈를 자동 제외. • 단점: ε, MinPts 설정에 민감하고, 데이터 밀도가 지역마다 크게 다르면 잘 작동하지 않을 수 있음.

2) OPTICS (Ordering Points To Identify the Clustering Structure) • 원리: DBSCAN의 한계를 보완해, 다양한 밀도 레벨에서 클러스터 구조를 시각화(reachability plot)하고 사용자가 임계치를 선택할 수 있게 함. • 장점: 전역적 ε 값 없이도 다양한 밀도 분포를 탐색. • 단점: 구현이 DBSCAN보다 복잡하고, 해석 과정을 요구.

3) DENCLUE (DENsity-based CLUstEring) • 원리: 커널 밀도 추정(kernel density estimation)으로 데이터 공간의 확률 밀도 함수를 모델링하고, 높은 밀도 경사(gradient ascent)를 따라 모드(mode)에 수렴시켜 군집화. • 장점: 수학적 이론이 명확하고, 매우 비구형 구조도 잡아낼 수 있음. • 단점: 커널 폭(bandwidth) 등 매개변수 설정이 까다롭고, 연산 비용이 높음.

4. 모델 기반 군집화 데이터가 특정 확률 분포를 따른다고 가정하고, 각 군집을 확률 분포 모델(예: 가우시안)로 표현합니다.

1) Gaussian Mixture Model (GMM) • 원리: 다중 컴포넌트 가우시안 혼합 모델로, EM(Expectation-Maximization) 알고리즘을 통해 각 샘플이 각 컴포넌트에 속할 확률(soft assignment)을 추정. • 장점: 군집 경계가 겹치거나 모호한 상황에서 부드러운 할당이 가능.

• 단점: EM이 국소해(local optimum)에 빠질 수 있고, 컴포넌트 수를 미리 정해야 함.

2) 베이지안 혼합 모델 (Dirichlet Process Mixture) • 원리: 사전분포(prior)를 베이지안 기법으로 더 유연하게 설정해, 군집 수를 데이터가 스스로 결정하게 함(DPMM). • 장점: 사전에 군집 수를 고정하지 않아도 되고, 불확실성까지 추정 가능.

• 단점: 추론 과정(MCMC, 변분 추론)이 느리고 구현이 복잡.

5. 그래프 기반 군집화 데이터 포인트를 그래프의 노드로, 유사도를 간선 가중치로 표현한 후, 그래프 분할(graph partitioning) 기법을 이용합니다.

1) Spectral Clustering • 원리: 유사도 행렬(similarity matrix)을 기반으로 그래프 라플라시안(Laplacian)을 구성하고, 그 고유벡터(eigenvector)를 이용해 저차원 공간으로 임베딩한 뒤 K-means 등을 적용. • 장점: 비구형, 복잡한 구조도 잘 분리하고, 전역 정보를 활용. • 단점: 그래프 행렬 고유분해 비용이 커서 대규모에는 부적합.

2) Markov Clustering (MCL) • 원리: 그래프에서 “확산(diffusion)” 과정을 시뮬레이션해, 자신 안에서 방문 확률이 높은 부분을 군집으로 추출. 주로 생물학적 네트워크 분석에 사용.

6. 기타 주요 기법들 1) Mean Shift • 원리: 각 점에 커널 윈도우를 씌워 고밀도 방향으로 반복 이동(shift)하면서 모드에 수렴시킨 후, 동일 모드로 수렴한 점들을 군집으로 취급. • 특징: K 값을 미리 알 필요 없고, 분포의 모양을 그대로 반영. 다만, 밀도 추정·커널 대역폭 선택이 민감하고 계산량이 큼.

2) BIRCH (Balanced Iterative Reducing and Clustering using Hierarchies) • 원리: 대용량 데이터를 CF 트리(Clustering Feature tree)에 요약(summary)하고, 부분 군집을 점진적으로 병합함으로써 메모리·시간을 절약. • 특징: 온라인·단일 패스로 대용량 처리에 적합하지만, 복잡한 비구형 구조 인식력은 다소 떨어질 수 있음.

3) Self-Organizing Map (SOM) • 원리: 신경망 기반으로 입력 벡터를 2차원 격자 구조에 매핑(mapping)하면서 군집화. 이웃 간 가중치 업데이트로 위상 정보를 보존. • 특징: 데이터 시각화·차원 축소 기능이 강력하지만, 학습률·격자 크기 등 하이퍼파라미터 튜닝이 까다로움. — 이처럼 군집화 기법은 데이터 분포와 형태, 규모, 노이즈 수준, 사전 지식(예: 군집 수) 유무 등에 따라 적절한 알고리즘을 선택해야 합니다.

간단한 구형 분포라면 K-means, 복잡한 구조라면 DBSCAN·Spectral Clustering, 대용량이라면 BIRCH, 소프트 할당이 필요하면 GMM, 사전 군집 수를 모르면 Mean Shift나 베이지안 혼합 모델 등을 적용해 볼 수 있습니다.

각 방법의 기본 가정과 비용(시간·메모리), 튜닝 포인트를 충분히 고려해 실험·평가하는 것이 중요합니다.