포스테키안
2023 178호 / 지식더하기 ①
가설 검정 Statistical Hypothesis
여러분도 학교생활을 하면서 어떤 일에 가설을 세우고 이를 검증해 보고자 한 경험이 있을 텐데요. 그렇다면 가설은 어떠한 기준으로 채택하고, 기각하게 되는지 그 수학적 과정에 대해 알고 있으신가요? 이번 글에서는 바로 그 수학적 가설 검정에 관련한 여러 가설과 가설 검정 속 오류에 대해 알아보려고 합니다.
가설 검정은 다양한 곳에서 사용되지만, 대표적으로 연구에서 많이 사용됩니다. 이때, 연구에서 검증하고자 하는 가설을 ‘귀무가설(Null Hypothesis)’이라고 합니다. 그리고 귀무가설과 반대되는 가설을 ‘대립가설(Alternative Hypothesis)’이라고 합니다. 귀무가설은 ‘새로운 것이 없다’는, 대립가설은 ‘새로운 것이 있다’라는 의미의 가설로 사용됩니다. 흔히, 대립 가설을 채택하기 위해 귀무가설을 사용하는 이유는 참이 아님을 증명하는 것이 참임을 증명하는 것보다 쉽기 때문입니다. 그렇기에 흔히 귀무가설을 기각하여 대립가설을 채택하는 방법을 취하게 되는 거죠. 이러한 상황은 일상생활에서도 흔히 볼 수 있는데, ‘무죄 추정의 원칙¹ ’이 바로 그 예입니다.
그런데, 귀무가설이 채택되거나 기각되는 것에는 ‘기준’이 필요합니다. 이 기준점을 ‘임곗값(Critical Value)’이라고 부릅니다. 예를 들어 공을 일정 높이에서 떨어뜨릴 때, θ의 확률로 깨지지 않고 살아남는 기술을 새롭게 개발했다고 합시다. 이때 임곗값과 관련한 수식은 다음과 같이 표현됩니다.²
이때 X는 확률 변수이며, n개의 공을 대상으로 기술을 실행했을 때 살아남은 공의 개수를 의미합니다. 따라서 X의 개수가 일정한 c를 넘게 되면 귀무가설(H0)을 기각하고, 해당 기술을 사용하지 않게 됩니다. 그리고 c가 바로 임곗값이 되는 것이죠. 따라서 이 c를 기준으로 하여, c보다 작으면 채택 영역(Acceptance Region), c보다 크거나 같을 때는 기각 영역(Rejection Region)이 됩니다.
{x : x < c} : acceptance region
{x : x ≥ c} : rejection region
그런데, 이러한 방식의 가설 검증 방법에는 2가지의 오류가 있습니다. 바로 제1종 오류(Type 1 error)와 제2종 오류(Type 2 error)인데요. 1종 오류는 “귀무가설이 실제로 참인데 이를 기각하는 오류”를 말하고, 2종 오류는 “귀무가설이 실제로 거짓인데 이를 기각하지 않는 오류”를 말합니다. 이를 표로 나타내면 다음과 같고, 수식도 아래와 같이 표현할 수 있습니다.
Type 1 error: α(θ) = P θ (X ≥ c)
Type 2 error: β(θ) = P θ (X < c)
그렇다면 이 2가지 오류 중에 어느 것이 더 치명적일까요? 바로 1종 오류입니다. 1종 오류는 잘못된 가설을 받아들인 것이기 때문이죠. 법으로 본다면 무죄인 사람에게 유죄를 판결한 것과 동일한 상황입니다. 이러한 오류를 최대한 줄이기 위해서는, 위의 수식에서 볼 수 있듯이 c의 값을 높여주면 됩니다. 그러나 c의 값을 너무 높이게 되면 2종 오류가 일어날 확률이 높아지게 됩니다. 그래서 보통은 1종 오류의 최대 허용치를 설정해 놓은 뒤에, 2종 오류를 최소화하는 방법을 사용합니다.
그 최대 허용치(α)를 유의수준(Significance Level)으로 부르고, 미리 값을 정해서 1종 오류를 범하지 않도록 합니다. 가설 검정에서는 흔히 0.01, 0.05, 0.1과 같은 작은 값을 흔히 사용하게 됩니다. 반대로, 대립가설 분포에서는 임곗값보다 작은 확률이 2종 오류의 확률이 되고, β로 표기합니다.
단순히 가설을 채택하고 기각하는 것이 아니라 이렇게 특정한 기준을 기반으로 분석하고 있었다니, 놀랍지 않나요? 이번 글을 통해 가설 검정에 관심이 생겼다면 p-value와 검정력 등에 대해 더 공부해 보는 것을 추천합니다!
(글) 컴퓨터공학과 21학번 27기 알리미 김나림