머신러닝알고리즘: 후보 생성(candidates generation) 과정이란 무엇인가요?

자주 묻는 질문(FAQ): 머신러닝 알고리즘 후보 생성(Candidates Generation) 과정

1. Q: 후보 생성(Candidates Generation)이란 무엇인가요?
A: 대규모 아이템(문서·상품·동영상 등) 중에서 사용자가 관심을 가질 만한 소수의 후보 집합을 빠르게 추려내는 단계입니다. 이후 순위 매기기(Ranking) 단계로 넘길 후보 수를 줄여 전체 시스템의 효율성과 정확도를 높입니다.

2. Q: 후보 생성이 왜 중요한가요?
A:
- 연산량 절감: 전체 아이템을 일일이 평가하지 않아도 됩니다.
- 지연시간 감소: 실시간 추천·검색 서비스의 응답 속도를 확보합니다.
- 최종 품질 개선: 상위 랭킹 단계가 더 정교한 알고리즘을 적용할 수 있도록 후보 품질을 보장합니다.

3. Q: 주요 방법에는 어떤 것들이 있나요?
A:
- 콘텐츠 기반 필터링(Content-based): 아이템 메타데이터(장르·태그·텍스트 등) 유사도를 활용
- 협업 필터링(Collaborative): 사용자·아이템 간 과거 상호작용 행렬(Matrix)을 기반으로 유사 사용자나 유사 아이템 추천
- 근사 최근접 이웃(Approximate Nearest Neighbor, ANN): 고차원 임베딩 벡터 공간에서 빠른 유사도 탐색
- 해시 기법(Locality-Sensitive Hashing, LSH): 유사 항목을 동일 해시 버킷에 배치하여 검색 속도 향상
- 규칙 기반(Heuristic): 카테고리·시간·인기도 등 도메인 지식을 반영한 간단한 필터

4. Q: ANN(근사 최근접 이웃)이란 무엇이고, 왜 쓰나요?
A: 고차원 임베딩 벡터 공간에서 완전탐색(Brute-force)의 계산 비용을 크게 줄이면서도 유사도가 높은 항목을 근사치로 빠르게 찾는 기법입니다. 대규모 데이터에서도 실시간 응답이 가능하도록 설계됩니다.

5. Q: 후보 생성 단계의 성능 평가는 어떻게 하나요?
A:
- 커버리지(Coverage): 전체 아이템 대비 추천 가능한 아이템 비율
- 재현율(Recall): 실제 사용자가 선호한 아이템이 후보에 포함된 비율
- 잠재 상관도(Latency): 응답 시간
- 처리량(Throughput): 단위 시간당 처리 가능한 요청 수

6. Q: 후보 수와 최종 품질 간에는 어떤 관계가 있나요?
A: - 후보 수↑: 재현율·다양성↑, 지연 시간↑, 계산 비용↑
- 후보 수↓: 지연 시간↓, 계산 비용↓, 품질(재현율·다양성) 저하 가능
→ 서비스 특성(실시간 VS 배치)과 리소스 제약에 따라 최적 후보 수를 튜닝해야 합니다.

7. Q: 배치 처리(Batch)와 실시간 처리(Online) 중 후보 생성 차이는?
A:
- 배치: 대규모 로그나 임베딩을 주기적으로 갱신하여 추천 후보를 미리 생성/저장
- 실시간: 사용자의 최근 행동을 반영해 즉시 후보를 생성
→ 배치는 높은 계산 자원 활용, 실시간은 낮은 지연에 중점

8. Q: 딥러닝 임베딩 기반 후보 생성은 어떻게 하나요?
A:
1) 사용자·아이템을 임베딩 벡터로 표현(예: Word2Vec, Matrix Factorization, DSSM)
2) 유사도(코사인 유사도 등)를 활용하여 근접 벡터 탐색(ANN, HNSW 등)
3) Top-K 후보 반환

9. Q: 대용량 환경에서 시스템 설계 시 고려사항은?
A:
- 분산 인덱스(Sharding): 데이터·쿼리 부하 분산
- 캐싱(Cache): 인기 아이템·자주 조회 쿼리 미리 저장
- 스트림 처리 프레임워크(예: Kafka, Flink): 실시간 로그 수집·임베딩 업데이트
- 모니터링: 지연·재현율 지표 실시간 추적

10. Q: 후보 생성 모범 사례는?
A:
1) 계층 구조 활용:
- 1단계: 단순 해시/태그 필터
- 2단계: ANN 임베딩 탐색
- 3단계: 도메인 규칙 조합
2) A/B 테스팅으로 후보 수·방법 조합 비교
3) 서비스 특성별 메트릭(CTR, CVR, 체류 시간 등) 기반 최적화
4) 주기적 임베딩·데이터 리프레시로 신선도 확보

머신러닝 기반의 대용량 추천·검색 시스템이나 정보 검색 파이프라인에서 ‘후보 생성(candidates generation)’은 전체 아이템 풀(Item Pool) 중에서 후속 처리(예: 정교한 랭킹·재랭킹)에 넘길 소수의 유력 후보만 골라내는 단계입니다.

이 과정을 거치지 않으면 수백만, 수천만 건 이상의 아이템을 모두 일일이 복잡한 모델로 점수 매기고 정렬해야 하기 때문에 시스템 부담이 감당하기 어려워집니다.

후보 생성 단계의 핵심 목표는 가능한 한 관련성이 높은 아이템을 빠르게 걸러내면서도, 이후 랭킹 단계에서 실제로 높은 품질의 결과를 만들 수 있도록 ‘Recall(재현율)’을 충분히 확보하는 것입니다.

1. 왜 후보 생성이 필요한가 • 대규모 아이템 풀에 대한 실시간 처리 한계 • 효율을 위해 빠른 검색·필터링이 우선 • 이후 랭킹 단계에서만 정밀 평가를 수행해 총 비용 절감 • 초기에 너무 좁게 걸러내면 좋은 아이템을 놓칠 수 있으므로 높은 재현율 유지 필요

2. 주요 방법론 후보 생성에서는 일반적으로 다음 세 가지 유형의 방법을 단독 혹은 조합하여 사용합니다.

가. 협업 필터링 기반 기법 – 사용자-아이템 상호작용 행렬(평점·클릭·구매 이력 등)에 기반해 유사 사용자 또는 주변 아이템을 빠르게 찾아내는 방식 – 사용자 최근 행동과 비슷한 행동을 보인 다른 사용자들이 좋아한 아이템을 추천 후보로 취합 – 메모리 기반(neighborhood) 필터링, 또는 대규모 행렬 분해(Matrix Factorization)를 경량화한 버전 활용 나. 콘텐츠(특징) 기반 검색 – 아이템의 메타데이터(장르·카테고리·태그·텍스트 임베딩 등)와 사용자 프로필을 미리 벡터화 – 사용자가 선호하는 속성과 비슷한 특징을 가진 아이템을 ANN(Approximate Nearest Neighbor) 기법 등으로 빠르게 찾아냄 다. 딥러닝 임베딩 & 투타워(Two-Tower) 모델 – 사용자와 아이템을 각각 임베딩 공간에 매핑하는 간단한 신경망(또는 트랜스포머)을 학습 – 내적(dot product) 또는 코사인 유사도로 사전 계산한 인덱스를 이용해 근사 최근접 이웃을 조회 – 대규모 설정에서는 HNSW, IVF, PQ 등 ANN 라이브러리를 활용

3. 시스템 관점의 고려사항 • 지연 시간(latency) vs. 재현율 트레이드오프: 검색 질을 높이면 속도가 느려지고, 반대로 빠르게 하면 놓치는 아이템이 늘어남 • 저장 공간(인덱스 크기)과 업데이트 빈도: 사용자·아이템 프로필이 자주 바뀐다면 실시간 혹은 준실시간 인덱스 재생성이 필요 • 다양성(Diversity)·신뢰성(Cold-start) 대책: 인기 편중을 완화하기 위해 의도적으로 다른 카테고리 아이템을 섞거나, 신규 아이템을 일정 비율로 삽입 • 스케일 아웃(Sharding)·캐싱: 지리적 분산 서버나 메모리 캐시를 통해 대량 조회를 분산 처리

4. 후보 생성 이후 파이프라인 ① 후보 생성: 수천~수만 개 수준으로 아이템 풀 축소 ② 1차 랭킹: 빠른 피쳐 기반 모델(경량화된 GBM·DNN)로 수천 개를 수십 개로 더 압축 ③ 2차 재랭킹·후처리: 비즈니스 룰·다양성 제약·위배 문구 필터링 등을 적용하여 최종 순위 생성 결국 후보 생성 단계는 “잘 걸러내되, 놓치지 않고 많이 건져 올리는” 역할을 하며, 전체 추천·검색 품질을 좌우하는 중요한 첫 관문입니다.

시스템 특성, 아이템 규모, 업데이트 주기, 요구 지연 시간 등을 고려해 협업 필터링, 콘텐츠 검색, 딥러닝 임베딩, 해싱·인덱싱 기법을 적절히 조합해 설계하게 됩니다.