수정하기 - 머신러닝알고리즘: Lasso와 Ridge 회귀의 차이는 무엇인가요?

닉네임

비밀번호

제목

내용 [이미지 업로드는 권한이 있는 사람만 가능. 하단 카톡으로 연락]

Lasso 회귀와 Ridge 회귀는 둘 다 과적합(overfitting)을 방지하기 위해 손실 함수에 규제항(regularization term)을 추가하는 선형 회귀 기법이지만, 적용하는 규제의 형태와 그로 인한 특성이 다릅니다. 아래에서는 두 기법의 핵심 차이점을 글로 풀어 설명합니다.    1. 규제항의 형태       • Ridge 회귀(릿지 회귀)는 회귀 계수의 제곱합을 규제항으로 사용합니다. 수식으로는 λ·∑ᵢβᵢ² 형태로, 계수 βᵢ를 제곱해 더한 값을 페널티로 부과합니다.       • Lasso 회귀(라쏘 회귀)는 회귀 계수의 절댓값 합을 규제항으로 사용하며, λ·∑ᵢ|βᵢ| 형태로 표현됩니다. 절댓값을 취하기 때문에 계수를 0으로 만드는 방향으로 압력이 강해집니다.    2. 계수 추정 결과의 특성       • Ridge는 계수를 0에 가깝게 “축소(shrink)”시키지만 완전히 0으로 만들지는 않습니다. 즉 모든 설명 변수는 모델에 남아 있고, 회귀 계수의 크기만 작아집니다.       • Lasso는 일부 계수를 정확히 0으로 만들어 버립니다. 결과적으로 변수 선택(variable selection) 효과가 있고, 불필요하다고 판단된 피처는 모델에서 완전히 배제됩니다.    3. 변수 선택과 해석 용이성       • Ridge는 모든 변수가 모델에 포함되므로 특징(feature) 개수가 많을 때 해석이 복잡해질 수 있습니다. 그러나 입력 변수 간 상관관계가 높아도 계수가 무한대로 커지는 문제를 억제해 주는 장점이 있습니다.       • Lasso는 자동으로 변수 선택이 이루어지므로, 모델 자체가 희소(sparse)해지고 중요 변수만 남겨 해석이 쉬워집니다. 그러나 피처 간 상관관계가 높으면 어느 하나만 선택되고 나머지는 0이 되는 식으로 불안정하게 작동할 수 있습니다.    4. 다중공선성(multicollinearity) 처리       • Ridge는 다중공선성에 강한 편입니다. 상관관계가 높은 변수들의 계수를 모두 동일하게 축소하여 안정된 해를 제공합니다.       • Lasso는 상관관계가 높은 변수 중 하나를 선택하고 나머지를 제거하는 경향이 있어, 어떤 변수가 선택될지는 데이터에 민감하게 달라질 수 있습니다.    5. 최적화 관점       • Ridge는 제곱항을 쓰기 때문에 목적함수가 매끄럽고(미분 가능) <a href='https://sangseek.com/sangseeks/최적화 알고리즘/ko'>최적화 알고리즘</a>이 빠르게 수렴합니다. 해가 유일하게 존재하며, 해석적_closed-form_ 해를 갖기도 합니다.       • Lasso는 절댓값 함수 때문에 목적함수가 코너(corner) 형태를 가지며 비미분점이 존재합니다. 일반적으로 좌표하강법(coordinate descent) 같은 기법을 사용해 해를 구합니다.    6. 하이퍼파라미터 λ(람다)의 역할       • λ가 0에 가까우면 일반 OLS(<a href='https://sangseek.com/sangseeks/최소제곱/ko'>최소제곱</a>) 회귀와 유사해지고, λ가 커질수록 규제 효과가 강해져 모델 복잡도가 감소합니다.       • Ridge와 Lasso 모두 λ를 교차검증(cross-validation)으로 최적화하지만, 같은 λ 값에 대해 Ridge는 계수 전체를 균일하게 축소시키고, Lasso는 일부 계수를 0으로 만드는 정도가 달라집니다.    7. 실제 활용 시 선택 기준       • 피처가 많고 그중 중요한 몇 개만 골라서 사용하고 싶다면 Lasso가 유리합니다. 자동 변수 선택 기능으로 결국 남는 피처만 검토하면 됩니다.       • 피처 간 상관관계가 강하고, 가능한 한 모든 변수를 버리지 않으면서 안정적인 예측 성능을 원한다면 Ridge를 선호합니다.      정리하자면, Ridge 회귀는 L2 규제를 통해 계수를 부드럽게 작게 만드는 데 초점을 맞추고, Lasso 회귀는 L1 규제를 통해 계수를 0으로 만드는 변수 선택 효과를 함께 제공합니다. 이 둘의 중간 형태로 L1과 L2 규제를 동시에 쓰는 Elastic Net도 자주 활용되니, 데이터 특성에 따라 적절한 규제 방식을 선택하여 사용하면 좋습니다.