앞서 다룬 단순선형회귀는 입력 변수가 딱 하나였다. 그런데 현실에서 결과 하나를 변수 하나로만 설명하는 경우는 드물다. F1 랩타임만 해도 연습량, 타이어 온도, 다운포스, 연료량이 한꺼번에 얽혀 정해진다. 이렇게 여러 입력 변수를 동시에 넣어 결과를 예측하는 회귀가 다중선형회귀다.
이 글은 다중선형회귀의 핵심을 네 가지로 짚는다. 변수가 늘면 회귀선이 왜 초평면이 되는지, 각 계수를 어떻게 읽어야 하는지, 푸는 방법이 왜 단순회귀와 똑같은지, 그리고 변수를 무작정 늘릴 때 반드시 만나는 과적합이 무엇인지까지다.
변수가 여럿이면 직선이 아니라 초평면
단순선형회귀는 변수가 하나라 결과를 직선으로 예측했다. 변수를 둘로 늘리면 어떻게 될까? 입력이 두 방향으로 퍼지므로, 예측은 이제 직선이 아니라 평면이 된다. 두 변수 축 위에 얹힌 판 하나를 떠올리면 된다.
변수가 셋, 넷으로 더 늘면 눈으로 그릴 수 있는 차원을 넘어선다. 그래도 수학적으로는 여전히 “평평한 면”의 형태를 유지하는데, 이렇게 4차원 이상으로 확장된 평면을 초평면(hyperplane)이라고 부른다. 변수가 p개면 결과를 초평면으로 예측한다고 보면 된다. 이름은 거창해도 개념은 직선 → 평면 → 초평면으로 자연스럽게 이어질 뿐이다.
계수 해석 — 다른 변수를 고정한 채 본 효과
계수를 읽는 법에는 단순회귀와 다른 미묘한 조건이 하나 붙는다. 다중회귀에서 β̂₁은 “다른 변수를 모두 고정한 채, x₁만 1단위 늘렸을 때 결과가 변하는 양”이다. 이 “다른 변수를 고정한 채”라는 단서가 핵심이다.
아래 수치는 개념 설명을 위한 임의의 수치입니다.
| 입력 변수 | 계수(β̂) | 해석 |
|---|---|---|
| 연습량(세션) | −0.40 | 타이어·다운포스를 고정하면, 세션 1회당 랩타임 0.40초 단축 |
| 타이어 온도 | −0.15 | 나머지를 고정하면, 1도 오를 때 0.15초 단축 |
| 다운포스 | −0.02 | 나머지를 고정하면, 효과가 거의 없음 |
이 시나리오는 개념 설명을 위한 가상의 상황입니다. 실제 F1 팀의 전략과 다를 수 있습니다.
이렇게 여러 계수를 나란히 비교하면, 어떤 변수가 결과를 크게 움직이고 어떤 변수가 사실상 무의미한지 골라낼 수 있다. 위 예에서 다운포스는 계수가 0에 가까워 랩타임에 별 기여를 못 하는 변수로 읽힌다.
푸는 방법은 단순회귀와 똑같다 — OLS
여기서 가장 안심되는 대목. 다중회귀를 푸는 방법은 단순회귀와 완전히 똑같은 최소제곱법(OLS)이다. 단순선형회귀에서처럼 잔차제곱합(SSE)을 최소로 만드는 계수를 찾는다. 변수가 p개면 계수도 절편까지 p+1개라, 각 계수에 대해 편미분해 p+1개의 식을 풀면 된다.
교재에는 이 과정을 행렬과 벡터로 정리한 무시무시한 공식이 등장하지만, 겁먹을 필요 없다. 변수가 많아 식이 길어지니 깔끔하게 묶어 적은 것일 뿐, 하는 일은 “SSE를 최소로 만드는 OLS” 그대로다. 유도식을 외우기보다 이 원리 하나만 붙잡으면 충분하다. 표준적인 정리는 scikit-learn 선형모델 문서에서 확인할 수 있다.
변수를 많이 넣을수록 좋을까 — 과적합의 함정
직관적으로는 변수를 많이 넣을수록 예측이 좋아질 것 같다. 실제로 쓸모 있는 변수를 더하면 성능은 오른다. 문제는 결과와 별 상관없는 변수까지 욱여넣을 때 생긴다.
무의미한 변수가 모형에 끼면 회귀식이 쓸데없이 복잡해진다. 복잡한 모형은 학습 데이터의 사소한 요동까지 통째로 외워버려, 학습 데이터에서는 성능이 아주 좋게 나온다. 그런데 처음 보는 테스트 데이터에서는 오히려 예측력이 뚝 떨어진다. 이 현상이 과적합(overfitting)이다. 회귀 성능지표 편에서 본 “테스트 데이터의 R²이 음수로 내려가는” 사고가 바로 이렇게 일어난다.
📍 그래서 다중회귀의 진짜 숙제는 “변수를 다 넣기”가 아니라 “결과에 정말 기여하는 변수만 골라 넣기”가 된다. 그런데 변수가 수십, 수백 개면 하나씩 빼고 넣어보며 최적 조합을 찾는 건 사람이 할 짓이 못 된다. 이 변수 선택을 자동으로 해주는 방법이 바로 다음 글에서 다룰 계수 축소법(Ridge·Lasso)이다.
핵심 요약
- 다중선형회귀는 입력 변수 여러 개(p개)로 결과를 예측하는 회귀로, 변수가 늘면 직선이 평면·초평면이 된다.
- 각 계수 β̂ⱼ는 “다른 변수를 고정한 채 xⱼ만 1단위 늘렸을 때”의 효과다 — 이 단서가 해석의 핵심이다.
- 푸는 방법은 단순회귀와 똑같은 OLS다. 행렬 공식은 길어진 식을 묶어 적은 것일 뿐이다.
- 쓸모 있는 변수는 성능을 올리지만, 무의미한 변수까지 넣으면 과적합이 생겨 테스트 성능이 떨어진다.
- 그래서 변수 선택이 필요하고, 이를 자동화하는 것이 계수 축소법(Ridge·Lasso)이다.
