가설검정 절차는 하나다 — 질문 3개로 검정을 고르는 분류도

t검정, z검정, ANOVA, 카이제곱, 윌콕슨. 통계 공부를 시작하면 검정 이름이 쏟아진다. 그래서 흔히 이걸 전부 서로 다른 공식이라 생각하고 하나씩 외우려 든다. 사실은 반대다. 가설검정 절차는 어떤 검정이든 똑같고, 검정마다 바뀌는 건 딱 두 가지다. 계산에 쓰는 값(검정통계량)과, 그 값이 그리는 분포(샘플링 분포). F1 팀이 시즌 내내 같은 차 한 대로 달리면서 트랙마다 세팅만 바꾸는 것과 같다.

이 글은 가설검정 절차라는 본체를 먼저 고정한 다음, 질문 3개로 어떤 팩을 꽂을지 정하는 분류도를 평균·비율·분산 세 장으로 정리한다. 각 검정의 자세한 계산은 검정별 글에서 이어가고, 여기서는 지도 전체를 한 번에 잡는다.

가설검정 절차 4단계 — 어떤 검정이든 똑같다

먼저 가설검정이 뭔지부터 한 줄로. 가설검정은 “내 짐작이 맞는지 데이터로 확인하는 절차”다. 그리고 그 절차는 어떤 검정을 쓰든 아래 4단계를 벗어나지 않는다.

1·2단계와 4단계의 판단 논리는 모든 검정에서 글자 하나 안 바뀐다. p값이 기준선보다 작으면 “우연이라기엔 너무 이상한 결과”이므로 믿어온 쪽을 버리고, 크면 그대로 둔다. 이게 전부다. 가설 세우는 법은 귀무가설 대립가설 글에서, p값 읽는 법은 가설검정 P값 글에서 이미 다뤘다.

그래서 처음 보는 검정을 만나면 물어볼 것이 두 가지뿐이다. 이 검정은 무슨 값을 계산하나(통계량), 그 값은 어떤 분포를 따르나(샘플링 분포). 검정통계량이라는 말 자체가 낯설다면 그 글을 먼저 읽고 오는 편이 빠르다.

검정을 고르는 질문 3개

절차가 하나라면, 남는 문제는 “내 데이터엔 어떤 팩을 꽂나”다. 이 선택은 암기가 아니라 질문 3개로 끝난다.

1. 데이터가 종 모양(정규분포)인가? — QQ 플롯 같은 도구로 확인한다
2. 표본이 30개 이상인가? — 표본이 이 정도 모이면 표본의 흩어짐(표본분산)이 전체의 흩어짐(모분산)을 대신할 수 있다고 본다
3. 비교할 집단이 몇 개인가? — 1개, 2개, 3개 이상

여기서 현실적인 전제 하나. 현업에서 모분산, 그러니까 “전체 데이터의 진짜 흩어짐”을 아는 경우는 없다. 전체를 다 재볼 수 없으니까 표본을 뽑는 것이다. 교과서는 “모분산을 알 때/모를 때”를 나누지만, 현장에서 그 구분은 사실상 “표본이 30개 이상인가”로 바뀐다. 30이라는 숫자도 수학 공식이 아니라 오랜 경험으로 자리 잡은 기준점이다.

분류도 1 — 평균에 대한 가설검정 고르는 법

두 설비의 평균 측정값이 같은지, 공정 평균이 슬쩍 이동했는지 같은 질문이 여기 속한다.

신기한 칸이 하나 있다. 데이터가 종 모양이 아닌데도 표본이 30개 이상이면 z검정을 쓸 수 있다. 이걸 가능하게 해주는 것이 중심극한정리다. 원래 데이터가 어떤 모양이든, 여러 개씩 뽑아 평균을 내면 그 평균들은 종 모양으로 모인다는 정리다. 자세한 원리는 표본 분포 글에서 다뤘다. 반대로 표본도 적고 모양도 종이 아니면, 값 대신 순위(등수)로 비교하는 비모수 검정으로 내려간다.

첫 질문이 “종 모양인가”이므로, 분류도를 쓰려면 QQ 플롯 읽는 법부터 갖춰야 한다.

분류도 2 — 비율에 대한 가설검정 고르는 법

불량률처럼 “전체 중 몇 개”를 다루는 질문이다. 여기서 갈림길은 정규성 검사가 아니라 정규근사 조건이라는 숫자 조건이다.

기호가 나왔지만 뜻은 단순하다. n은 표본 개수, p는 불량 비율, q는 정상 비율(1−p)이다. np는 “표본에서 기대되는 불량 개수”, nq는 “기대되는 정상 개수”다. 동전을 딱 3번 던지면 앞면 개수의 분포가 들쭉날쭉하지만, 아주 많이 던지면 종 모양이 되는 것처럼, 기대 불량·정상 개수가 각각 10개는 넘어야 종 모양으로 근사할 수 있다는 조건이다.

문제는 현장의 불량률이 보통 아주 작다는 점이다. 불량률이 0.0001 수준이면 np를 10 이상으로 만들기 위해 표본 10만 개가 필요하다. 현실적으로 쉽지 않다. 그래서 이론과 달리 실무의 비율 비교는 z검정보다 표(분할표) 기반의 카이제곱·Fisher 쪽으로 내려가는 경우가 훨씬 많다.

분류도 3 — 분산에 대한 가설검정 고르는 법

평균이 같아도 값이 넓게 흩어지기 시작하면 품질 문제는 이미 시작된 것이다. 이 “흩어짐”이 분산이고, 산포 관리가 곧 분산에 대한 가설검정이다.

Bartlett 검정의 자리가 특이하다. ANOVA는 “모든 집단의 흩어짐이 서로 같다”는 가정(등분산) 위에서 돌아가는 검정이다. 그래서 평균을 비교하려고 ANOVA를 꺼냈다면, 그 전에 Bartlett로 등분산부터 확인하는 순서가 된다. 분류도 세 장이 서로 연결되어 있다는 뜻이다.

분류도를 외우지 말고 질문을 외워라

세 장의 표를 통째로 암기할 필요는 없다. 실제로 남는 것은 이것뿐이다.

• 가설검정 절차는 항상 4단계로 같다 — 가설, 기준선, 검정통계량, 샘플링 분포에서 p값
• 검정 선택은 질문 3개 — 종 모양인가, 표본이 30개 이상인가, 집단이 몇 개인가
• 비율은 np·nq ≥ 10, 분산은 정규성과 집단 수만 확인

계산은 어차피 통계 소프트웨어가 한다. 사람의 몫은 어떤 검정을 왜 골랐는지 설명하는 것, 그리고 나온 p값을 상황에 맞게 해석하는 것이다. 가설검정 절차라는 본체를 한 번 세워두면, 처음 보는 검정 앞에서도 “통계량이 뭐고 분포가 뭐지”만 물으면 된다. 이 시리즈의 검정별 글들이 그 두 가지에 하나씩 답한다.

함께 읽으면 좋은 글

검정을 골랐다면, 다음은 그 검정이 틀릴 확률을 관리하는 눈이다.

• 검정력 유의수준 완전 정복 — 1종·2종 오류와 신뢰성 있는 검정을 위한 3가지 원칙

FAQ