검정력 유의수준 완전 정복 — 1종·2종 오류와 신뢰성 있는 검정을 위한 3가지 원칙

현장에서 이런 장면을 여러 번 목격했다. 경험 많은 엔지니어가 “이거 분명히 공정 평균이 바뀐 거야”라고 확신하는데, 통계 검정 결과는 “차이 없음”이라고 나오는 것이다. 통계가 틀린 걸까, 엔지니어가 착각한 걸까.

정답은 둘 다 아닐 수 있다. 검정력 유의수준의 관계를 이해하면, 그 순간 무슨 일이 벌어진 건지 정확히 설명할 수 있다. 이 글에서는 가설검정에서 발생하는 두 가지 오류(1종·2종), 그 둘이 왜 서로 반대로 움직이는지, 신뢰성 있는 검정을 위해 무엇이 필요한지를 F1 레이싱 예시와 함께 정리한다.

우리는 왜 오류를 범할 수밖에 없는가 — 표본이라는 한계

F1 레이스에서 이런 상황을 상상해보자.

레이스 중간, 엔지니어링 팀은 타이어 마모 상태를 판단해야 한다. 그런데 팀이 가진 정보는 타이어 전체 상태가 아니라, 센서 몇 개에서 수집된 수치뿐이다. 타이어의 실제 마모 상태는 팀이 직접 볼 수 없다. 실시간 전수 데이터가 존재하지 않기 때문이다.

이것이 가설검정의 본질적 한계와 정확히 같다.

가설검정은 모집단 전체를 직접 확인할 수 없기 때문에 사용하는 도구다. 만약 모집단의 모든 데이터를 갖고 있다면, 평균이 바뀌었는지는 계산 한 번으로 바로 알 수 있다. 검정이라는 절차 자체가 필요 없다. 전수 데이터를 취득할 수 없다는 것 — 그것이 오류가 발생할 수밖에 없는 근본 이유다.

두 개의 정규분포 그래프가 의미하는 것

가설검정 교재에는 반드시 등장하는 그림이 있다. 두 개의 정규분포 곡선이 서로 엇비슷한 위치에 겹쳐서 그려진 그림이다. 이게 도대체 무엇을 의미하는지 처음 봤을 때 직관적으로 이해하기 쉽지 않다.

F1 타이어 예시로 풀어보자. H₀(귀무가설)는 타이어 마모량이 정상 범위 안에 있다(평균 = 기준값 68mm), H₁(대립가설)는 마모량이 정상 범위를 벗어났다(평균 = 70mm 이상)고 설정한다.

왼쪽 곡선이 H₀, 오른쪽 곡선이 H₁이다. 두 분포는 각각 “귀무가설이 참일 때 표본 평균이 분포하는 모양”과 “대립가설이 참일 때 표본 평균이 분포하는 모양”을 나타낸다.

여기서 핵심이 있다. H₁ 분포가 실제로 어디에 있는지는 아무도 모른다. 타이어의 실제 마모 평균이 70mm인지, 71mm인지 — 그것을 알고 있다면 검정 자체가 필요 없다. 두 곡선이 겹쳐 그려진 그림은 설명을 위한 가정일 뿐이다.

기각 기준선(임계값)을 중심으로, 두 분포가 겹치는 영역에서 오류가 발생한다.

1종 오류 vs 2종 오류 — 어느 쪽이 더 위험한가

1종 오류(α): 타이어가 실제로는 정상인데, 검정 결과 이상 신호가 났다. 팀이 불필요하게 피트 인을 결정하고 시간을 잃는다. 현장 용어로는 가성 알람(False Alarm), 오버킬이라고도 한다.

2종 오류(β): 타이어가 실제로는 마모 한계에 도달했는데, 검정 결과 정상으로 판단됐다. 팀은 계속 달리고, 결국 레이스 중 타이어가 파열된다. 현장 용어로는 미스 알람(Missed Alarm)이라고 한다.

어느 쪽이 더 심각한지는 맥락에 따라 다르지만, 제조 공정과 품질 보증 현장에서는 2종 오류가 훨씬 치명적이다. 불량품이 정상품으로 출하되어 고객에게 도달하기 때문이다.

검정력 유의수준의 트레이드오프 — α와 β는 반대로 움직인다

검정력 유의수준의 관계를 이해하려면 이 트레이드오프를 먼저 알아야 한다. 1종 오류(α)와 2종 오류(β)는 동시에 줄이고 싶은 대상이다. 그런데 현실에서 이 둘은 반대 방향으로 움직인다.

• α를 낮추면(엄격한 기준) → β가 커진다
• α를 높이면(느슨한 기준) → β가 작아진다

F1 팀으로 비유하면, 타이어 이상 신호 기준을 매우 엄격하게 잡으면 불필요한 피트 인은 줄지만, 실제 이상을 놓칠 위험이 커진다. 반대로 기준을 낮춰서 조금만 수상해도 피트 인을 하면 타이어 파열 위험은 줄지만, 불필요한 피트 인이 늘어난다.

검정력(1-β)은 실제로 이상이 있을 때 이를 정확히 감지하는 확률이다. 검정력 유의수준은 이처럼 서로 맞물려 있고, 어떤 α를 선택할지는 담당 공정에서 어느 오류가 더 치명적인지 엔지니어가 직접 판단해서 결정한다.

신뢰성 있는 검정을 위한 3가지 원칙

α를 어떻게 설정하더라도, β를 줄이는 더 근본적인 방법이 있다. 아래 3가지 원칙이 검정력 유의수준 관리의 실전 핵심이다.

원칙 1. 표본 크기를 늘려라

타이어 상태를 판단할 센서가 2개뿐이라면, 두 분포의 퍼짐(분산)이 넓어서 H₀와 H₁이 크게 겹친다. 센서를 20개로 늘려 더 많은 포인트를 수집하면 표본 평균의 분산이 작아지고, 두 정규분포 곡선이 날카롭게 솟아올라 겹치는 영역이 줄어든다. 표본 평균의 분산은 σ²/n으로 줄어든다. n이 클수록 검정력이 높아진다.

원칙 2. 현장 맥락에 맞게 α를 설정하라

검정력 유의수준 설정에 정해진 공식은 없다. 1종 오류와 2종 오류 중 어느 쪽이 더 큰 피해를 주는지 현장 맥락에서 판단하고, 그에 따라 α를 높이거나 낮추는 것이 원칙이다.

원칙 3. “통계와 현장이 다를 때”는 표본 크기를 먼저 의심하라

“경험상 분명히 바뀐 것 같은데 통계는 차이 없다고 한다”는 상황은, 표본이 작아서 β가 과도하게 커진 경우일 가능성이 높다. 이때는 통계보다 현장 엔지니어의 경험이 옳을 수 있다. 표본 크기를 늘린 후 재검정하는 것이 올바른 순서다.

핵심 요약

가설검정은 전수 데이터를 취득할 수 없기 때문에 존재하며, 그래서 오류가 발생할 수밖에 없다.

검정력 유의수준을 이해하면, 통계 결과와 현장 감각이 엇갈릴 때 어느 쪽을 믿어야 하는지 판단할 수 있다. 그 판단은 언제나 엔지니어의 몫이다.

[링크 제안]

검정력 유의수준 개념을 잡았다면, 다음은 가설검정 그래프의 두 분포가 실제로 어떻게 만들어지는지를 이해할 차례다.

• 표본 분포 완전 정복 — 가설검정 그래프가 이해되는 3가지 핵심 개념

P값과 유의수준의 관계를 숫자로 정확히 이해하고 싶다면 이 글이 다음 단계다.

• 가설검정 P값 완전 정복 — 유의수준·기각역까지 한 번에 잡는 3가지 핵심 개념

개념이 먼저다 — 통계를 가장 쉽게 배우는 곳

FAQ