지금까지 다뢬 회귀는 모두 랩타임 몇 초처럼 이어지는 숫자, 즉 연속형 값을 예측했다. 그런데 현실에는 “완주냐 리타이어냐”, “합격이냐 불합격이냐”처럼 둘 중 하나를 맞혀야 하는 문제도 많다. 이런 범주형 예측이 분류이고, 그 대표 모델이 로지스틱 회귀다. 이름에 회귀가 붙은 이유는, 이 모델이 “어느 쪽”인지를 곱바로 답하는 대신 “그럴 확률”이라는 연속된 숫자를 예측하기 때문이다.
이 글은 로지스틱 회귀를 네 걸음으로 짚는다. 무엇을 예측하는지, 왜 직선으로는 안 되는지, 오즈와 로짓이라는 두 번의 변신으로 어떻게 S자 곡선을 만드는지, 마지막으로 계수를 왜 최소제곱법이 아닌 최대우도법으로 구하는지까지다.
로지스틱 회귀는 확률을 예측한다
F1 경기에서 어떤 차가 완주할지 리타이어할지를 예측한다고 하자. 학습 데이터의 결과값(y)은 완주 아니면 리타이어, 둘 중 하나다. 로지스틱 회귀는 이 y를 곱바로 정하지 않고, 관심 있는 사건(예: 리타이어)이 일어날 확률 p를 예측한다. 확률이므로 0과 1 사이의 실수다. 그리고 이 확률이 0.5 이상이면 리타이어, 미만이면 완주로 갈라 분류한다.
확률로 예측하는 것이 왜 더 좋을까? “리타이어다/아니다”라고 무 자르듯 답하는 것보다 훨씬 많은 정보를 주기 때문이다.
아래 수치는 개념 설명을 위한 임의의 수치입니다.
| 예측한 리타이어 확률 | 분류 | 실무 해석 |
|---|---|---|
| 0.82 | 리타이어 | 위험이 뚜렷함 |
| 0.51 | 리타이어(경계) | 애매함 — 추가 점검 필요 |
| 0.12 | 완주 | 안전한 편 |
이 시나리오는 개념 설명을 위한 가상의 상황입니다. 실제 F1 팀의 전략과 다를 수 있습니다.
0.51과 0.49는 분류만 보면 리타이어와 완주로 갈리지만, 실제로는 종잇장 차이다. 확률을 알면 이런 경계 사례를 따로 다룰 수 있어, 확률로 분류하는 로지스틱 회귀가 한 수 위의 모델이 된다.
왜 직선으로는 안 되나 — 범위가 안 맞는다
그러다면 앞서 배운 단순선형회귀로 이 확률을 예측하면 될까? 안 된다. 이유는 범위에 있다. 직선의 방정식은 입력에 따라 −∞부터 +∞까지 어떤 값이든 뱉어낸다. 그런데 확률은 반드시 0과 1 사이여야 한다. 직선으로 확률을 예측하면 1을 넘거나 음수가 되는, 말이 안 되는 값이 나온다.
우리에게 필요한 건 직선이 아니라, 아래쪽 0에서 시작해 위쪽 1로 매끄럽게 올라가는 S자 곡선이다. 완전히 완주인 구간에서는 리타이어 확률이 0에 붙어 있고, 완전히 리타이어인 구간에서는 1에 붙어 있으며, 그 사이 애매한 회색 지대에서 확률이 부드럽게 차오르는 모양이다. 이 S자 곡선이 바로 로지스틱 함수다.
로짓 — 범위를 맞추는 두 번의 변신
그럼 이 S자 곡선을 어떻게 만들까? 열쇠는 왼쪽(확률, 0~1)과 오른쪽(선형식, −∞~+∞)의 범위를 같게 맞추는 데 있다. 두 번의 변신을 거친다.
첫 번째는 오즈(odds)다. 확률 p를 그대로 두지 말고 p / (1 − p), 즉 “리타이어 확률 ÷ 완주 확률”의 비율로 바꿜다. 스포츠 배당에서 어떤 팀의 승산을 ‘몇 대 몇’으로 말하는 것과 같은 방식이다. 확률이 0이면 오즈도 0, 확률이 1로 갈수록 분모가 0에 가까워져 오즈는 무한대로 뾻는다. 즉 오즈의 범위는 0부터 +∞다.
두 번째는 로그다. 이 오즈에 로그를 씌운 값을 로짓(logit)이라 부른다. 오즈가 0으로 가면 로그는 −∞, 오즈가 +∞로 가면 로그도 +∞이므로, 로짓의 범위는 마침내 −∞부터 +∞가 된다. 선형식의 범위와 정확히 같아진 것이다.
| 값 | 범위 |
|---|---|
| 확률 p | 0 ~ 1 |
| 오즈 p / (1 − p) | 0 ~ +∞ |
| 로짓 log(오즈) | −∞ ~ +∞ |
| 선형식 β₀ + β₁x + … | −∞ ~ +∞ |
이제 범위가 맞으니 로짓을 선형식과 같다고 놓을 수 있다. 즉 로지스틱 회귀를 선형회귀의 눈으로 보면, 선형식이 예측하는 대상은 확률이 아니라 로짓이다. 이 관계를 확률 p에 대해 다시 풀어내면(양변에 지수함수를 씌워 정리하면) 0과 1 사이를 오가는 그 S자 로지스틱 함수가 나온다. 이 표준적인 정리는 scikit-learn 선형모델 문서에서 확인할 수 있다.
계수는 최대우도법으로 — OLS는 못 쓴다
마지막 조각. 로지스틱 회귀의 계수는 지금까지 쓰던 최소제곱법(OLS)으로 구할 수 없다. OLS는 예측값과 실제값의 잔차제곱합을 최소로 만드는 방식인데, 여기서 예측하는 것은 확률이라 그 틀이 들어맞지 않는다.
대신 최대우도법(MLE, Maximum Likelihood Estimation)을 쓴다. 관측된 완주·리타이어 결과가 나타날 가능성(우도)이 가장 커지도록 계수를 맞추는 방식이다. 유도 과정은 복잡하지만, 실제 계산은 소프트웨어가 해준다. “로지스틱 회귀의 계수는 OLS가 아니라 최대우도법으로 구한다”는 사실만 알아두면 충분하다.
핵심 요약
- 로지스틱 회귀는 분류(범주형) 문제를 다루되, 어느 쪽인지를 곱바로 답하지 않고 그 사건이 일어날 확률을 예측한다.
- 예측한 확률이 0.5 이상이면 한쪽, 미만이면 다른 쪽으로 분류한다 — 확률을 주므로 경계 사례를 따로 다룰 수 있다.
- 직선은 −∞~+∞라 확률(0~1)을 예측하면 범위를 벗어난다. 그래서 S자 로지스틱 함수가 필요하다.
- 확률 → 오즈(0~+∞) → 로짓(−∞~+∞)의 두 변신으로 선형식과 범위를 맞추고, 로짓을 선형식과 같다고 놓는다.
- 계수는 최소제곱법이 아니라 최대우도법(MLE)으로 구하며, 계산은 소프트웨어가 한다.
