머신러닝알고리즘: Lasso와 Ridge 회귀의 차이는 무엇인가요?

1. Q: Lasso 회귀와 Ridge 회귀란 무엇인가요?
A: 두 방법 모두 선형 회귀에 규제(regularization)를 추가하여 과적합(overfitting)을 방지하는 기법입니다.
- Ridge 회귀: 계수들의 크기를 모두 작게 만드는 L2 규제를 사용
- Lasso 회귀: 계수들의 절대값 합을 최소화하는 L1 규제를 사용

2. Q: L1 규제와 L2 규제의 수학적 차이는 무엇인가요?
A: 손실 함수에 더하는 페널티 항이 다릅니다.
- Ridge (L2): λ · Σ βj²
- Lasso (L1): λ · Σ |βj|
여기서 λ(혹은 α)는 규제 강도 하이퍼파라미터입니다.

3. Q: 두 방법의 기하학적 해석은 어떻게 다른가요?
A:
- L2 규제(Ridge)는 등고선이 원형(구형)에 가깝고, 해는 매끈하게 분포된 영역 안에서 결정
- L1 규제(Lasso)는 등고선이 다이아몬드(마름모) 형태여서 좌표축에 걸리는 지점(계수가 0이 되는 해)을 가질 확률이 큼

4. Q: Lasso가 자동으로 변수 선택(feature selection)을 한다고요?
A: 맞습니다. L1 규제는 일부 계수를 정확히 0으로 만듭니다.
- 불필요한 변수 제거
- 모델 해석력 향상
반면 Ridge는 계수를 0에 가깝게만 만들 뿐, 완전히 0으로 만들지는 않습니다.

5. Q: 하이퍼파라미터 λ (또는 α)는 어떻게 결정하나요?
A: 일반적으로 교차검증(cross-validation)을 통해 최적의 λ를 찾습니다.
- λ가 크면 규제 강도가 커져 자유도가 줄고 과소적합 우려
- λ가 작으면 규제 효과가 줄고 과적합 우려
→ 균형점을 교차검증으로 선택

6. Q: 언제 Ridge를, 언제 Lasso를 선택해야 하나요?
A:
- 다수의 상관된 변수들(correlated features)이 있을 때: Ridge가 안정적인 계수 추정 - 희소 모델(sparse model)·변수 선택이 중요할 때: Lasso가 유리
- 두 방법의 장점을 모두 원할 때: Elastic Net (L1+L2 혼합) 고려

7. Q: 두 방법의 단점은 무엇인가요?
A:
- Ridge
· 많은 변수를 포함하므로 해석이 어려울 수 있음
· 진정한 0계수를 만들어주지 않음
- Lasso
· 변수 수보다 샘플 수가 적거나 상관관계가 높은 변수들에 대해 불안정할 수 있음
· 매우 큰 λ 값 시 과도한 변수 제거로 성능 저하 가능

8. Q: 학습·예측 속도 차이는 있나요?
A:
- Ridge는 정규방정식 해석해 또는 효율적 최적화 기법 사용 시 빠름
- Lasso는 비연속적 절대값 페널티 때문에 좌표하강법(coord. descent) 등 반복 알고리즘 필요
→ 보통 계산 비용은 Lasso가 약간 더 높을 수 있음

9. Q: 모델 해석 관점에서 어떤 점을 주의해야 하나요?
A:
- 회귀계수 크기 비교 시 규제가 영향을 줌
- 변수 중요도 판단 시 규제 강도(λ)의 영향을 함께 고려
- 표준화(standardization)를 반드시 수행해야 계수 해석이 일관됨

10. Q: 요약: Lasso와 Ridge의 핵심 차이점은?
A:
- 페널티 종류: L2 vs L1
- 변수 선택: Ridge는 못 함, Lasso는 일부 0으로 만들어 자동 선택
- 추천 상황:
· 다중공선성 완화 → Ridge
· 희소 모델·해석 용이성 → Lasso

Lasso 회귀와 Ridge 회귀는 둘 다 과적합(overfitting)을 방지하기 위해 손실 함수에 규제항(regularization term)을 추가하는 선형 회귀 기법이지만, 적용하는 규제의 형태와 그로 인한 특성이 다릅니다.

아래에서는 두 기법의 핵심 차이점을 글로 풀어 설명합니다.

1. 규제항의 형태 • Ridge 회귀(릿지 회귀)는 회귀 계수의 제곱합을 규제항으로 사용합니다.

수식으로는 λ·∑ᵢβᵢ² 형태로, 계수 βᵢ를 제곱해 더한 값을 페널티로 부과합니다.

• Lasso 회귀(라쏘 회귀)는 회귀 계수의 절댓값 합을 규제항으로 사용하며, λ·∑ᵢ|βᵢ| 형태로 표현됩니다.

절댓값을 취하기 때문에 계수를 0으로 만드는 방향으로 압력이 강해집니다.



2. 계수 추정 결과의 특성 • Ridge는 계수를 0에 가깝게 “축소(shrink)”시키지만 완전히 0으로 만들지는 않습니다.

즉 모든 설명 변수는 모델에 남아 있고, 회귀 계수의 크기만 작아집니다.

• Lasso는 일부 계수를 정확히 0으로 만들어 버립니다.

결과적으로 변수 선택(variable selection) 효과가 있고, 불필요하다고 판단된 피처는 모델에서 완전히 배제됩니다.



3. 변수 선택과 해석 용이성 • Ridge는 모든 변수가 모델에 포함되므로 특징(feature) 개수가 많을 때 해석이 복잡해질 수 있습니다.

그러나 입력 변수 간 상관관계가 높아도 계수가 무한대로 커지는 문제를 억제해 주는 장점이 있습니다.

• Lasso는 자동으로 변수 선택이 이루어지므로, 모델 자체가 희소(sparse)해지고 중요 변수만 남겨 해석이 쉬워집니다.

그러나 피처 간 상관관계가 높으면 어느 하나만 선택되고 나머지는 0이 되는 식으로 불안정하게 작동할 수 있습니다.



4. 다중공선성(multicollinearity) 처리 • Ridge는 다중공선성에 강한 편입니다.

상관관계가 높은 변수들의 계수를 모두 동일하게 축소하여 안정된 해를 제공합니다.

• Lasso는 상관관계가 높은 변수 중 하나를 선택하고 나머지를 제거하는 경향이 있어, 어떤 변수가 선택될지는 데이터에 민감하게 달라질 수 있습니다.



5. 최적화 관점 • Ridge는 제곱항을 쓰기 때문에 목적함수가 매끄럽고(미분 가능) 최적화 알고리즘이 빠르게 수렴합니다.

해가 유일하게 존재하며, 해석적_closed-form_ 해를 갖기도 합니다.

• Lasso는 절댓값 함수 때문에 목적함수가 코너(corner) 형태를 가지며 비미분점이 존재합니다.

일반적으로 좌표하강법(coordinate descent) 같은 기법을 사용해 해를 구합니다.



6. 하이퍼파라미터 λ(람다)의 역할 • λ가 0에 가까우면 일반 OLS(최소제곱) 회귀와 유사해지고, λ가 커질수록 규제 효과가 강해져 모델 복잡도가 감소합니다.

• Ridge와 Lasso 모두 λ를 교차검증(cross-validation)으로 최적화하지만, 같은 λ 값에 대해 Ridge는 계수 전체를 균일하게 축소시키고, Lasso는 일부 계수를 0으로 만드는 정도가 달라집니다.



7. 실제 활용 시 선택 기준 • 피처가 많고 그중 중요한 몇 개만 골라서 사용하고 싶다면 Lasso가 유리합니다.

자동 변수 선택 기능으로 결국 남는 피처만 검토하면 됩니다.

• 피처 간 상관관계가 강하고, 가능한 한 모든 변수를 버리지 않으면서 안정적인 예측 성능을 원한다면 Ridge를 선호합니다.

Ridge 회귀는 L2 규제를 통해 계수를 부드럽게 작게 만드는 데 초점을 맞추고, Lasso 회귀는 L1 규제를 통해 계수를 0으로 만드는 변수 선택 효과를 함께 제공합니다.

이 둘의 중간 형태로 L1과 L2 규제를 동시에 쓰는 Elastic Net도 자주 활용되니, 데이터 특성에 따라 적절한 규제 방식을 선택하여 사용하면 좋습니다.