왜 그런가요
연구계획에 ‘검정력 80%’가 적혀 있으면 참가자 80%에게 치료가 잘 듣는다는 뜻일까요? 퍼센트 기호가 같아도 세는 대상이 다릅니다. 검정력은 미리 정한 효과와 연구 조건에서 통계 검정이 차이를 찾아낼 가능성에 관한 말입니다. 개인의 호전 비율과 같은 결과표가 아닙니다.
80%를 읽기 전에 답할 세 질문
무엇을 찾아낼 가능성인가요?
연구가 가정한 실제 차이가 있을 때, 정해진 검정으로 그 차이를 검출할 가능성입니다. NCI는 계획된 참가자 수, 평가변수와 검정 등을 조건으로 차이를 찾을 예상 확률이라고 설명합니다. 효과가 얼마나 크다고 가정했는지가 빠지면 검정력 숫자도 온전히 해석할 수 없습니다.
표본 수만 알면 검정력도 정해지나요?
아닙니다. 가정한 효과 크기, 자료의 변동, 유의수준과 검정 방법 등이 함께 관계됩니다. NIST의 표본 수 예시는 정해진 평균 차이를 찾기 위한 계획에서 이런 조건들을 연결합니다. 그 예시의 가정을 다른 설계에 그대로 적용하거나 학생이 논문의 참가자 수만으로 검정력을 다시 단정하지 않습니다.
검정력 80%면 효과가 참일 확률도 80%인가요?
그렇지 않습니다. 정해진 대립 조건에서 차이를 검출할 가능성을, 관찰된 결과가 참일 확률로 바꾸는 것은 다른 질문입니다. 실제 참가자의 호전율이나 개인의 성공 가능성으로 옮기는 것도 잘못입니다. 검정력은 계획 조건을 붙여 읽어야 합니다.
놓칠 가능성과 연결해 기억하기
NIST의 검정 오류 설명에서 제2종 오류는 귀무가설이 거짓인 조건에서 이를 기각하지 못하는 경우입니다. 그 확률을 β로 놓으면 검정력은 해당 조건에서 1−β입니다. 예를 들어 β를 0.20으로 가정한 계획의 검정력은 0.80입니다. 이 산술은 모든 참가자 중 개선된 사람을 세는 계산이 아닙니다.
NCI의 검정력 정의와 NIST의 표본 수 계획 설명을 함께 보면, 숫자 옆에 붙일 것은 ‘어떤 효과를 어떤 조건에서 찾는가’라는 질문입니다. 80%를 모든 연구가 반드시 지켜야 하는 국내 규정이나 충분한 연구의 합격선으로 선언하지 않습니다.
가상의 독해 메모를 ‘100명 중 80명이 좋아진다’에서 ‘정해진 차이와 설계 조건 아래 차이를 검출할 가능성을 계획했다’로 고쳐 보세요. 실제 연구가 차이를 검출하지 못했다는 이유만으로 효과가 정확히 0이라고 결론 내리는 연습도 아닙니다. 표본 수 계획은 결과를 보장하는 약속이 아니라, 무엇을 찾을 준비를 했는지 보여 주는 정보입니다.