설비 세 대의 평균 비교 결과를 정리해서 공유한 적이 있다. 분산분석(ANOVA)으로 p값까지 깔끔하게 뽑았는데, 회의에서 질문 하나가 날아왔다. “등분산은 확인하셨어요?” 순간 말문이 막혔다. 결과가 틀렸다는 게 아니라, 그 결과가 서 있는 바닥을 확인하지 않았던 것이다.
등분산 검정은 바로 그 바닥 검사다. 여러 집단의 흩어짐(분산)이 서로 같은가 — 이 질문에 답하는 검정이고, 분산분석이라는 건물이 그 위에 서 있다. 이 글에서는 왜 이 확인이 전제인지, 데이터가 종 모양이면 Bartlett·아니면 Levene라는 선택 기준, 그리고 전제가 깨졌을 때 무엇을 해야 하는지까지 정리한다.
왜 등분산이 전제인가 — ANOVA의 분모를 기억하라
분산분석의 F값은 “집단 사이 흩어짐 ÷ 집단 안 흩어짐”이었다. 여기서 분모인 집단 안 흩어짐은 세 집단의 흩어짐을 하나로 합쳐서 계산한다. 세 반의 시험 점수 출렁임을 “우리 학교 반들의 평균적인 출렁임” 하나로 뭉뚱그리는 셈이다.
이 합산이 정당하려면 조건이 필요하다. 애초에 세 집단의 출렁임이 비슷해야 한다. 한 반만 유난히 점수가 널뛰는데 셋을 평균 내면, 그 평균은 어느 반도 대표하지 못하는 숫자가 된다. 분모가 무너지면 F값 전체가 무너지고, 그 위의 p값과 결론도 같이 무너진다. 이것이 분산분석 앞에 등분산 검정이라는 문지기를 세우는 이유다.
절차 자체는 시리즈 내내 반복한 가설검정 절차 그대로다. 귀무가설은 “모든 집단의 분산이 같다”, 대립가설은 “적어도 하나는 다르다”. 바뀌는 것은 역시 통계량과 분포뿐이다.
Bartlett와 Levene — 갈림길은 정규성
등분산 검정의 대표 선수는 둘이고, 선택 기준은 하나다. 데이터가 종 모양(정규분포)인가.
| 조건 | 사용할 검정 | 특징 |
|---|---|---|
| 모든 집단이 종 모양 | Bartlett 검정 | 정규분포 아래에서 민감도가 좋다 |
| 종 모양이 아니거나 확신이 없다 | Levene 검정 | 정규성 위반에 튼튼하다(robust) |
Bartlett 검정은 각 집단의 표본분산을 재료로 B라는 통계량을 만든다. 공식은 로그와 여러 항이 얽혀 있어 꽤 복잡한데, 외울 필요가 전혀 없다 — 통계 소프트웨어에 데이터를 넣으면 B값과 p값이 바로 나온다. 대신 약점을 기억해야 한다. Bartlett는 정규성에 예민해서, 데이터가 종 모양이 아니면 “분산 차이”가 아니라 “모양 차이”에 반응해 엉뚱한 경보를 울릴 수 있다.
그래서 종 모양이 아닐 때는 Levene 검정으로 간다. Levene의 아이디어는 소박하고 영리하다. 각 데이터가 자기 집단의 중심에서 얼마나 떨어져 있는지(편차의 절댓값)를 구한 다음, 그 “떨어진 거리들”의 평균이 집단마다 같은지를 분산분석과 같은 방식으로 비교한다. 흩어짐이 큰 집단은 중심에서 떨어진 거리도 평균적으로 클 테니까. 그래서 Levene의 통계량 W는 F분포로 판정하며, 자유도는 (집단 수 − 1, 전체 표본 수 − 집단 수)다.
정규성 판단이 갈림길이므로, 여기서도 첫 단추는 QQ 플롯이다.
결과를 읽는 법 — 두 가지 시나리오
아래 수치는 개념 설명을 위한 임의의 수치입니다.
시나리오 1 — 문지기 통과. 설비 3대의 평균 비교에 앞서 Bartlett 검정을 돌렸더니 p = 0.41. 기준선 0.05보다 크므로 “분산이 다르다고 볼 근거 없음” — 등분산 전제가 확인됐다. 이제 안심하고 분산분석으로 진행하면 된다. 이 검정에서는 귀무가설이 유지되는 것이 오히려 반가운 결과라는 점이 재미있다. 문지기의 역할은 통과시켜주는 것이니까.
시나리오 2 — 문지기에게 걸림. 제품 3종의 측정값이 종 모양이 아니라 Levene 검정을 돌렸더니 W = 4.1, 자유도 (2, 72)에서 p = 0.03. 기준선보다 작다 — 적어도 한 종류의 흩어짐이 다르다. 이때 해야 할 일이 두 가지다. 첫째, 분산분석 강행을 멈춘다. 전제가 깨진 상태의 결과는 신뢰할 수 없다. 둘째, 이 결과 자체를 발견으로 받아들인다. “어느 집단의 산포가 왜 다른가”는 평균 차이 못지않은 품질 신호다. 산포가 유난한 집단을 분산 검정으로 좁혀 들어가면, 평균만 보다가 놓쳤을 문제의 꼬리를 잡는 경우가 많다.
등분산 검정을 습관으로 — 점검 순서 정리
시리즈 전체의 분류도에 이 글을 끼워 넣으면, 여러 집단 평균 비교의 실전 순서가 완성된다.
- QQ 플롯으로 정규성 확인
- 등분산 검정 — 종 모양이면 Bartlett, 아니면 Levene
- 통과하면 분산분석(ANOVA)으로 평균 비교
- 걸리면 멈추고, 산포가 다른 원인부터 조사
계산은 전부 소프트웨어가 한다. 사람이 챙길 것은 이 순서를 건너뛰지 않는 습관이다. 회의실에서 “등분산은 확인하셨어요?”라는 질문을 받는 쪽이 아니라, 하는 쪽이 되면 된다.
끝으로 자주 보이는 실수 두 가지만 짚는다. 첫째, 순서 역전 — 분산분석을 먼저 돌려 p값을 확인한 뒤에 등분산 검정을 “형식적으로” 붙이는 경우다. 문지기를 건물 뒤에 세우는 격이고, 전제가 깨졌다면 이미 본 p값이 판단을 오염시킨다. 둘째, 과잉 해석 — 등분산 검정의 p값이 0.05보다 크다고 “분산이 같음이 증명됐다”고 말하는 경우다. 가설검정은 무언가를 증명하는 도구가 아니다. “다르다고 볼 근거를 찾지 못했다”까지가 데이터가 해주는 말이고, 그 위에서 분산분석을 진행하는 것은 근거 있는 실용적 선택이지 수학적 보증이 아니다.
핵심 요약
- 등분산 검정은 여러 집단의 분산이 같은지 확인하는 절차 — ANOVA의 전제를 지키는 문지기다
- ANOVA의 분모(집단 안 흩어짐)는 집단들의 분산을 합쳐 계산하므로, 분산이 제각각이면 성립하지 않는다
- 데이터가 종 모양이면 Bartlett, 아니면 Levene — Levene은 정규성 위반에 튼튼하다
- 이 검정은 귀무가설 유지(전제 확인)가 반가운 결과다
- 걸렸다면 ANOVA를 멈추고, 산포가 다른 원인 조사로 방향을 돌린다
함께 읽으면 좋은 글
문지기 검정의 판정도 결국 p값 읽기다. 판정 논리가 아직 헛갈린다면 이 글부터.
