머신러닝알고리즘: Overfitting과 Underfitting의 개념은 무엇인가요?

FAQ: Overfitting과 Underfitting의 개념

1. Q: Overfitting이란 무엇인가요?
A: Overfitting(과적합)은 모델이 학습 데이터의 노이즈나 세부적인 변동까지 지나치게 학습하여,
• 학습 데이터 상에서는 매우 높은 성능(낮은 오류)을 보이지만
• 새로운(검증/테스트) 데이터에서는 성능이 급격히 떨어지는 현상입니다.
주요 특징
- 복잡한 모델 구조(매우 깊은 신경망, 높은 차수의 다항회귀 등)
- 학습 데이터 수에 비해 모델 파라미터 수가 많음
- 너무 오래 학습하거나 정규화가 부족

2. Q: Underfitting이란 무엇인가요?
A: Underfitting(과소적합)은 모델이 학습 데이터 안에 있는 기본적인 패턴조차 제대로 파악하지 못해,
• 학습 데이터와 새로운 데이터 모두에서 성능이 낮게 나타나는 현상입니다.
주요 특징
- 너무 단순한 모델(선형 모델로 비선형 관계를 설명하려 함 등)
- 학습이 충분히 이루어지지 않음(학습률이 너무 낮거나 에포크 수가 부족)
- 입력 특성(feature)이 부족하거나 잘못된 전처리

3. Q: Overfitting과 Underfitting의 차이는 무엇인가요?
A:
• Overfitting
– 학습 데이터에 지나치게 최적화 → 학습 오류 매우 낮음, 검증 오류 높음
– 모델 복잡도↑, 일반화 능력(G)이 ↓
• Underfitting
– 학습 데이터의 기본 패턴도 학습 실패 → 학습 오류와 검증 오류 모두 높음
– 모델 복잡도↓, 표현력(표현할 수 있는 함수 공간)이 부족

4. Q: 왜 Overfitting/Underfitting이 발생하나요?
A:
Overfitting 원인
- 모델 복잡도가 문제에 비해 지나치게 높음
- 학습 데이터가 적거나 편향되어 있음
- 정규화(L1, L2, 드롭아웃 등) 미적용
Underfitting 원인
- 모델이 문제의 본질적 관계를 설명하기에 너무 단순 - 주요 변수나 특성을 누락
- 학습이 충분히 이루어지지 않음(학습률, 에포크 설정 문제)

5. Q: Overfitting/Underfitting을 어떻게 진단하나요?
A:
• 학습 곡선(Training vs Validation Error) 관찰
– Overfitting: Training Error는 계속↓, Validation Error는 일정 시점↓ 후↑
– Underfitting: Training Error와 Validation Error 모두 높은 상태에서 거의 변동 없음
• 교차검증(CV) 점수
– CV 점수 분산이 크면 Overfitting 의심
– 전체 점수가 낮으면 Underfitting 의심

6. Q: Overfitting을 줄이는 방법은 무엇인가요?
A:
- 데이터 양 늘리기(Data Augmentation, 더 많은 샘플 수집)
- 정규화 기법 적용(L1/L2 정규화, 드롭아웃, 배치 정규화)
- 모델 단순화(특성 수 축소, 차수 낮추기, 레이어 수·노드 수 감소)
- 조기 종료(Early Stopping)
- 앙상블 학습(Random Forest, Bagging 등)

7. Q: Underfitting을 줄이는 방법은 무엇인가요?
A:
- 모델 복잡도 높이기(더 많은 레이어·노드, 고차원 다항회귀 등)
- 유용한 특성 추가(feature engineering)
- 학습률·에포크 수 조정(충분한 학습 보장)
- 비선형 활성화 함수 사용(신경망 경우)

8. Q: Overfitting/Underfitting을 예방하려면 어떤 접근이 좋을까요?
A:
• 문제 복잡도에 맞춰 모델 설계
• 적절한 데이터 전처리 및 특성 공학
• 하이퍼파라미터 튜닝(교차검증 기반)
• 정규화와 드롭아웃 등 일반화 기법 병행
• 학습 곡선 모니터링을 통한 조기 개입

위 FAQ를 통해 Overfitting과 Underfitting의 개념, 진단 방법, 해결책을 이해하고 모델의 일반화 성능을 개선할 수 있습니다.

머신러닝 모델을 설계하고 학습시킬 때 흔히 마주하게 되는 두 가지 중요한 문제는 바로 언더피팅(underfitting)과 오버피팅(overfitting)입니다.

이 둘은 모델이 훈련 데이터와 실제 데이터 분포를 얼마나 잘 학습(또는 일반화)했는지를 설명하는 개념으로, 각각 다음과 같은 특징을 가집니다.

1. 언더피팅(Underfitting) 언더피팅은 모델이 훈련 데이터에 내재된 패턴을 충분히 학습하지 못해, 훈련 데이터에서조차 성능이 낮게 나타나는 현상입니다.

예를 들어, 선형관계가 아닌 복잡한 곡선 형태의 데이터를 단순한 직선 모델로 학습하려 한다면, 모델의 표현 능력이 부족하여 중요한 특징을 잡아내지 못하게 됩니다.

결과적으로 훈련 오차가 크고, 검증 데이터나 실제 테스트 데이터에 대해서도 예측 정확도가 낮아집니다.

언더피팅의 주요 원인으로는 모델의 복잡도가 너무 낮거나(예: 차수가 낮은 회귀 모델, 은닉층이 거의 없는 신경망), 학습에 사용된 특성(feature)의 수가 부족하거나 중요 변수를 누락한 경우, 혹은 학습 자체가 충분히 이루어지지 않은 경우(예: 학습 반복 횟수(epoch) 부족, 학습률이 너무 낮음) 등이 있습니다.



2. 오버피팅(Overfitting) 오버피팅은 모델이 훈련 데이터에 있는 노이즈나 우연한 패턴까지 과도하게 학습하여, 훈련 데이터에서의 성능은 매우 높지만 실제 새로운 데이터(검증 데이터 또는 테스트 데이터)에 대해서는 성능이 급격히 떨어지는 현상입니다.

즉, 모델이 훈련 세트에 “외우기식”으로 적합되면서 일반화 능력을 잃어버린 상태입니다.

오버피팅이 발생하면 모델이 데이터의 본질적인 구조를 포착하기보다는 훈련 샘플의 세세한 부분에 과도하게 치우치게 되므로, 새로운 데이터에 대한 예측력이 저하됩니다.

과도하게 복잡한 모델 구조(예: 은닉층이 많고 뉴런 수가 많은 딥러닝 네트워크, 고차항이 많은 다항 회귀), 충분하지 않은 데이터 양, 혹은 노이즈가 많은 데이터에서 특히 잘 나타납니다.



3. 언더피팅과 오버피팅 사이의 균형 모델링의 핵심 과제는 “너무 단순하지도, 너무 복잡하지도 않은” 적절한 복잡도를 찾는 것입니다.

이 균형점을 벗어나면 언더피팅 혹은 오버피팅이 발생하여 모두 예측 성능을 떨어뜨립니다.

이를 흔히 편향-분산 트레이드오프(bias-variance tradeoff)라고 부르는데, 편향(bias)은 모델이 실제 관계를 단순화하면서 생기는 오차(언더피팅과 관련), 분산(variance)은 모델이 훈련 데이터 변화에 지나치게 민감해지는 정도(오버피팅과 관련)를 의미합니다.

편향이 높으면 모델이 충분히 학습하지 못하고, 분산이 높으면 과도하게 학습한 결과 일반화 성능이 떨어지죠.

4. 언더피팅·오버피팅 진단과 해결 방안 훈련 데이터와 검증(혹은 교차검증) 데이터에서의 성능 변화를 관찰하면 현재 모델이 언더피팅인지 오버피팅인지 진단할 수 있습니다.

두 데이터 모두에서 오차가 높다면 언더피팅, 훈련 데이터 오차는 낮지만 검증 데이터 오차가 높다면 오버피팅인 경우가 많습니다.

언더피팅을 완화하기 위해서는 모델 복잡도를 높이거나(더 많은 파라미터, 차수 상승, 더 깊은 네트워크) 학습 시간을 늘리거나(에폭 증가, 학습률 조정), 추가적인 특징을 도입하는 방법이 있습니다.

반대로 오버피팅을 줄이기 위해서는 정규화 기법(L1, L2 정규화), 드롭아웃(dropout), 조기 종료(early stopping), 교차검증을 통한 하이퍼파라미터 튜닝, 학습 데이터 양을 늘리거나 데이터 증강(data augmentation)하는 전략 등을 활용할 수 있습니다.

이처럼 머신러닝 모델이 실제 문제에 잘 적용되려면 언더피팅과 오버피팅 사이의 미묘한 균형을 맞추는 것이 필수적입니다.

적절한 모델 구조, 충분한 데이터, 그리고 올바른 정규화 기법 등을 고려하여 높은 일반화 성능을 확보해야 합니다.