왜 그런가요
STROBE 체크표의 항목을 모두 채운 논문은 좋은 연구라는 뜻일까요? 빠짐없이 보고했는지와, 설계·수행 과정이 편향에 얼마나 취약한지는 같은 질문이 아닙니다. 보고가 충분해야 내용을 판단하기 쉽지만, 보고의 충실도가 타당성을 자동으로 보증하지는 않습니다.
체크 수를 두고 나눈 가상 스터디 대화
민: “필요한 항목이 모두 적혀 있으니 연구의 질 점수도 만점 아닐까?”
준: “무엇을 어떻게 했는지 설명이 있다는 뜻과, 그 방법이 질문에 적절한지는 나눠 보자.”
민: “그럼 빠진 항목이 있으면 그 방법은 하지 않은 거지?”
준: “보고에서 확인되지 않았다는 것부터 적어야 해. 실제로 수행하지 않았다고 바로 확정할 수는 없어.”
보고 지침이 맡는 일
STROBE의 공식 소개는 코호트·환자대조군·단면 연구의 관찰연구 보고를 돕는 지침임을 설명합니다. 연구 설계를 정해 주는 처방이나 연구의 질을 평가하는 도구로 만든 것이 아니라는 경계도 밝힙니다. 체크 항목의 개수를 연구 수준의 순위표로 바꾸지 않는 이유입니다.
예를 들어 대상자 선정 방법이 자세히 적혀 있어도, 그 방법이 목표 집단과 연구 질문에 적절한지는 별도로 따져야 합니다. 자세한 설명은 그 검토를 가능하게 하는 정보이지, 적절하다는 결론 그 자체가 아닙니다. 반대로 설명이 빠졌다면 우선 정보 부족을 표시하고 부록 등에서 더 확인할 수 있는지 찾습니다.
비판적 평가는 질문을 바꿉니다
미국 NHLBI의 연구 평가 도구 안내는 연구별로 내적 타당성을 살피며, 항목 수를 단순 합산해 질을 결정하는 방식이 아니라고 설명합니다. 대상 선택과 측정, 혼란요인 등 결과를 치우치게 할 가능성을 내용으로 읽습니다. 이 도구들 자체도 독립적으로 발표된 표준화 도구가 아니라는 안내가 있어, 모든 설계에 적용되는 만능 점수표로 소개하지 않습니다.
두 메모를 나란히 남겨 보세요. 첫 메모는 ‘보고에서 무엇을 확인할 수 있나’, 두 번째는 ‘확인된 방법은 결과를 얼마나 치우치게 만들 수 있나’입니다. 같은 논문을 읽어도 두 메모가 답하는 질문은 다릅니다. 이번 연습은 학생이 공식 평가자를 대신한다는 뜻이 아닙니다. 보고의 빈칸을 찾는 일과 연구의 타당성을 검토하는 일을 서로 대체하지 않는 독해입니다.