왜 그런가요
설문에 초대한 100명 중 80명이 답했다면 ‘응답률이 높으니 결과도 믿을 만하다’고 말할 수 있을까요? 이 숫자는 참여 정도를 보여 주지만, 빠진 답이 결과를 어느 방향으로 바꿀지는 알려 주지 않습니다. 연구를 읽을 때 응답률과 무응답 편향을 같은 점수로 취급하지 않는 것이 출발점입니다.
한 숫자에 담기지 않는 세 가지
- 응답률: 어느 분모 중 몇 명이 답했는가
- 응답한 사람의 비율입니다. 대상이 아닌 사람, 연락하지 못한 사람, 대상인지 확인되지 않은 사람을 어떻게 처리했는지에 따라 계산 정의가 달라질 수 있습니다. 논문의 분모 설명과 조사 종료 상태를 함께 읽습니다.
- 무응답 편향: 빠진 사람이 어떤 답을 했을 것인가
- 응답자와 비응답자가 연구에서 중요한 특성에서 다르면 결과가 치우칠 수 있습니다. 참여하지 않았다는 사실만으로 그 사람의 응답을 알 수는 없습니다. 빠진 사람의 방향과 특성에 관한 정보가 필요합니다.
- 보고의 역할: 비율과 판단 근거를 분리하기
- 응답률을 계산해 보고하는 일은 필요하지만, 높은 비율이 편향 없음을 증명하거나 낮은 비율이 큰 편향을 확정하는 것은 아닙니다. 숫자 뒤의 참여 양상과 연구 질문을 별도로 확인합니다.
80명에게 무엇이 공통인지 묻기
학습용 가상 상황에서 실습 스트레스 설문을 생각해 보세요. 답하지 않은 20명이 바빠서 답하지 못했는지, 관심이 적어서인지, 다른 이유인지 아직 모릅니다. 응답자만으로 얻은 평균을 전체 학생의 평균이라고 말하려면, 빠진 사람이 연구와 관련된 특성에서 어떻게 다른지 확인할 자료가 필요합니다. 이 예시는 실제 학생들의 스트레스나 편향의 크기를 추정한 결과가 아닙니다.
AAPOR의 표준 정의 설명은 응답률만으로 무응답 오류의 존재와 크기를 판단하기 어렵다고 구분합니다. 미국 BLS의 응답률 안내도 비율과 편향이 잘 대응하지 않으며 계산 정의를 함께 읽어야 한다고 설명합니다. 서로 다른 조사들의 비율을 같은 합격선으로 비교하지 않습니다.
논문 옆에 남길 질문
‘80%’ 뒤에 ‘누가 분모인가?’와 ‘응답하지 않은 사람의 연구 관련 특성을 무엇으로 확인했나?’를 붙여 보세요. 추가 정보가 없으면 편향이 없다거나 있다고 확정하지 않고, 확인할 수 없는 부분을 남깁니다. 국시의 연구방법 사례에서도 응답률은 단서이지 대표성의 보증서가 아닙니다.