단측 검정 대 양측 검정

참고: 이 글은 원래 영어로 작성된 블로그의 한국어 번역본입니다. 원문은 다음 링크에서 확인하실 수 있습니다: https://statsig.com/blog/one-tailed-vs-two-tailed-tests

R이나 SciPy와 같은 내장 t-검정 함수를 사용하여 데이터를 분석해본 적이 있다면, 대립가설의 기본 설정을 조정해본 적이 있으신가요? 만약 답이 '아니오'이거나 이것이 무엇을 의미하는지 확실하지 않다면, 이 블로그는 여러분을 위한 것입니다!

통계학에서 흔히 "단측" 대 "양측"이라고 불리는 대립가설 매개변수는 대조군과 처리군 간의 예상되는 차이의 방향을 정의합니다.

양측 검정에서는 방향을 지정하지 않고 그룹 간 평균값에 차이가 있는지 평가합니다. 반면 단측 검정은 특정 방향을 가정합니다. 즉, 대조군의 평균이 처리군의 평균보다 작거나 큰지를 검정합니다.

단측과 양측 가설 중 선택하는 것은 사소한 세부사항처럼 보일 수 있지만, 테스트 계획부터 데이터 분석 및 결과 해석에 이르기까지 A/B 테스팅의 모든 단계에 영향을 미칩니다. 이 글에서는 가설의 방향이 왜 중요한지에 대한 이론적 기초를 구축하고 각 접근법의 장단점을 살펴봅니다.

단측 대 양측 가설 검정: 차이점 이해하기

단측과 양측 가설 중 선택의 중요성을 이해하기 위해 A/B 테스팅에서 일반적으로 사용되는 방법인 t-검정의 기본 사항을 간단히 살펴보겠습니다. 다른 가설 검정 방법과 마찬가지로 t-검정은 보수적인 가정으로 시작합니다: 두 그룹 간에 차이가 없다(귀무가설). 이 가정에 반하는 강력한 증거를 발견한 경우에만 귀무가설을 기각하고 처리가 효과가 있었다고 결론을 내릴 수 있습니다.

그렇다면 무엇이 "강력한 증거"로 간주될까요? 이를 위해 귀무가설 하에서 기각역이 결정되며, 이 영역에 속하는 모든 결과는 매우 가능성이 낮아 귀무가설의 타당성에 반하는 증거로 간주됩니다. 이 기각역의 크기는 알파(α)로 알려진 미리 정해진 확률에 기반하며, 이는 귀무가설을 잘못 기각할 가능성을 나타냅니다.

이것이 대립가설의 방향과 무슨 관련이 있을까요? 사실 매우 관련이 있습니다. 알파 수준이 기각역의 크기를 결정하는 반면, 대립가설은 그 위치를 결정합니다. 특정 방향의 차이를 가정하는 단측 검정에서는 기각역이 분포의 한쪽 꼬리에만 위치합니다.

긍정적인 효과를 가정하는 경우(예: 처리군 평균이 대조군 평균보다 높다), 기각역은 오른쪽 꼬리에 위치하여 우측 검정이 됩니다. 반대로 부정적인 효과를 가정하는 경우(예: 처리군 평균이 대조군 평균보다 낮다), 기각역은 왼쪽 꼬리에 위치하여 좌측 검정이 됩니다.

대조적으로 양측 검정은 어느 방향으로든 차이를 감지할 수 있도록 하므로 기각역이 분포의 양쪽 꼬리에 나뉘어 있습니다. 이는 효과가 긍정적이든 부정적이든 어느 방향으로든 극단값을 관찰할 가능성을 수용합니다.

직관을 구축하기 위해 다른 가설 하에서 기각역이 어떻게 나타나는지 시각화해 보겠습니다. 귀무가설에 따르면 두 그룹 간의 차이는 0을 중심으로 해야 한다는 것을 기억하세요. 중심극한정리 덕분에 이 분포가 정규분포에 근사한다는 것도 알고 있습니다. 따라서 다른 대립가설에 해당하는 기각 영역은 다음과 같이 보입니다:

왜 차이가 날까요?

대립가설의 방향 선택은 계획 단계부터 시작하여 전체 A/B 테스팅 프로세스에 영향을 미칩니다. 특히 표본 크기를 결정하는 데 영향을 줍니다.

표본 크기는 테스트의 원하는 검정력을 기반으로 계산되며, 이는 실제로 차이가 존재할 때 두 그룹 간의 진정한 차이를 감지할 확률입니다. 검정력을 계산하기 위해 기각역에 해당하는 대립가설 하의 영역을 조사합니다(검정력은 대립가설이 참일 때 귀무가설을 기각할 수 있는 능력을 반영하기 때문입니다).

가설의 방향이 이 기각역의 크기에 영향을 미치므로, 일반적으로 양측 가설의 검정력이 더 낮습니다. 이는 기각역이 양쪽 꼬리에 나뉘어 있어 한 방향으로 효과를 감지하기가 더 어렵기 때문입니다. 다음 그래프는 두 가지 유형의 가설 간의 비교를 보여줍니다.

보라색 영역이 양측 가설에 비해 단측 가설에서 더 크다는 점에 주목하세요:

실제로 원하는 검정력 수준을 유지하기 위해 양측 가설의 감소된 검정력을 표본 크기를 늘려 보상합니다(표본 크기를 늘리면 검정력이 증가하지만, 이에 대한 메커니즘은 별도의 글에서 다룰 수 있습니다). 따라서 단측과 양측 가설 간의 선택은 테스트에 필요한 표본 크기에 직접적인 영향을 미칩니다.

계획 단계를 넘어서, 대립가설의 선택은 결과의 분석과 해석에 직접적인 영향을 미칩니다. 단측 접근법으로는 유의성에 도달하지만 양측으로는 그렇지 않은 경우가 있으며, 그 반대의 경우도 있습니다.

이전 그래프를 검토하면 이를 설명하는 데 도움이 됩니다: 예를 들어, 왼쪽 꼬리의 결과는 양측 가설 하에서는 유의할 수 있지만 우측 단측 가설 하에서는 그렇지 않을 수 있습니다. 반대로 특정 결과는 우측 단측 검정의 기각역에 속할 수 있지만 양측 검정의 기각 영역 밖에 있을 수 있습니다.

단측과 양측 가설 중 어떻게 결정할까요?

결론부터 말씀드리면: 여기에는 절대적으로 옳거나 그른 선택이 없습니다. 두 접근법 모두 유효하며, 주요 고려사항은 특정 비즈니스 요구사항이어야 합니다. 어떤 옵션이 귀사에 가장 적합한지 결정하는 데 도움이 되도록 각각의 주요 장단점을 설명하겠습니다.

언뜻 보면 단측 대립가설이 명확한 선택처럼 보일 수 있습니다. 비즈니스 목표와 더 잘 일치하는 경우가 많기 때문입니다. 산업 응용에서는 일반적으로 처리의 양방향 영향을 탐색하기보다는 특정 지표를 개선하는 데 초점을 맞춥니다.

이는 특히 전환율을 최적화하거나 수익을 향상시키는 것이 목표인 A/B 테스팅에서 관련이 있습니다. 처리가 상당한 개선으로 이어지지 않으면 검토된 변경사항은 구현되지 않을 것입니다.

이러한 개념적 이점 외에도, 이미 언급한 단측 가설의 주요 이점이 하나 있습니다: 더 작은 표본 크기가 필요합니다. 따라서 단측 대립가설을 선택하면 시간과 자원을 모두 절약할 수 있습니다. 이러한 이점을 설명하기 위해 다음 그래프는 다양한 검정력 수준에서 단측 및 양측 가설에 필요한 표본 크기를 보여줍니다(알파는 5%로 설정).

이러한 맥락에서 단측과 양측 가설 간의 결정은 순차적 테스팅에서 특히 중요해집니다. 이는 알파 수준을 부풀리지 않고 지속적인 데이터 분석을 허용하는 방법입니다. 여기서 단측 검정을 선택하면 테스트 기간을 크게 줄일 수 있어 더 빠른 의사결정이 가능하며, 이는 신속한 대응이 필수적인 역동적인 비즈니스 환경에서 특히 가치가 있습니다.

그러나 양측 가설을 너무 빨리 무시하지 마세요! 양측 가설에도 자체적인 장점이 있습니다. 일부 비즈니스 맥락에서는 "부정적으로 유의한 결과"를 감지할 수 있는 능력이 주요 이점입니다. 한 고객이 공유한 바와 같이, 그는 결론이 나지 않는 결과보다 부정적으로 유의한 결과를 선호했습니다. 왜냐하면 이것이 귀중한 학습 기회를 제공하기 때문입니다. 결과가 예상대로 나오지 않았더라도 처리가 부정적인 효과를 가졌다고 결론을 내리고 제품에 대한 통찰력을 얻을 수 있었습니다.

양측 검정의 또 다른 이점은 신뢰구간(CI)을 사용한 간단한 해석입니다. 양측 검정에서는 0을 포함하지 않는 CI가 직접적으로 유의성을 나타내므로 실무자가 결과를 한눈에 해석하기가 더 쉽습니다. 이러한 명확성은 CI가 A/B 테스팅 플랫폼에서 널리 사용되기 때문에 특히 매력적입니다. 반대로 단측 검정에서는 유의한 결과가 여전히 CI에 0을 포함할 수 있어 잠재적으로 결과에 대한 혼란이나 불신으로 이어질 수 있습니다. 단측 신뢰구간을 단측 검정과 함께 사용할 수 있지만, 이러한 관행은 덜 일반적입니다.

핵심 요점

단일 매개변수를 조정함으로써 A/B 테스팅에 상당한 영향을 미칠 수 있습니다. 특히 수집해야 하는 표본 크기와 결과 해석에 영향을 줍니다. 단측과 양측 가설 중에서 결정할 때는 사용 가능한 표본 크기, 부정적인 효과를 감지하는 것의 이점, 신뢰구간(CI)을 가설 검정과 일치시키는 편의성과 같은 요소를 고려하세요. 궁극적으로 이 결정은 비즈니스 요구에 가장 적합한 것이 무엇인지 고려하여 신중하게 내려져야 합니다.