왜 그런가요
관찰연구에서 교육에 참여한 사람의 결과가 좋았다고 해 봐요. 그런데 그 교육이 영향을 줄 수 없다고 가정한 결과까지 참여 여부와 연관됐다면 어떨까요? 연구자는 음성대조 결과변수라는 별도의 질문으로 편향 가능성을 살필 수 있어요. 검사실에서 빈 검체를 넣는 음성 대조물과 이름은 비슷해도 대상과 가정은 달라요.
연관을 해석하기 전에 세 질문을 나눠 봐요
관심 노출이 바꾸지 않는 결과를 왜 살피나요?
음성대조 결과변수는 관심 노출이 원인이 되지 않는다고 가정한 결과예요. 노출과 그 결과가 연관된다면, 기대한 인과 작용 외에 다른 경로가 있는지 물을 이유가 돼요. 모든 관계없는 변수를 아무렇게나 고르는 방식은 아니에요.
원래 결과와 무엇을 공유해야 하나요?
음성대조가 유용하려면 관심 노출·결과에 영향을 주는 교란 등 편향 경로를 어느 정도 공유해야 해요. 인과경로가 없다는 조건은 맞아도 편향 구조가 전혀 다르면 원래 비교의 단서를 주기 어려워요. Harvard 연구진은 이 비교 가능성을 강조해요.
연관이 없으면 편향도 없다고 끝낼까요?
아니에요. 음성대조가 놓치는 편향 경로가 있을 수 있어요. 서로 반대 방향의 편향이 상쇄될 수도 있고요. Utrecht·Leiden 연구진의 검토는 무연관을 편향이 없다는 증명으로 취급하지 않도록 한계를 설명해요.
가상 교육 연구에서 후보 결과를 골라 봐요
저자가 만든 사고 예를 볼게요. 교육 참여와 당일 퀴즈 결과의 관계를 관찰해요. 별도로 교육 이전에 기록된 과제 제출 여부를 음성대조 후보로 생각해 봐요. 나중의 교육이 과거 제출을 바꿀 수 없다는 시간 조건은 분명해요. 하지만 그것만으로 좋은 음성대조가 완성되지는 않아요.
두 결과가 모두 학습 동기나 참여 선택의 영향을 받는다는 가정은 타당한지 검토해야 해요. 측정과 표본 선택에서 어떤 차이가 있는지도 봐야 하고요. 과거 제출과 교육 참여가 연관됐다고 교육 효과가 가짜라고 곧바로 단정해서는 안 돼요. 이 예는 설계의 질문을 보여 줄 뿐, 실제 학생 자료나 교육 효과 수치를 제시하지 않아요.
- 관심 노출이 후보 결과를 바꾸지 않는다는 근거가 있는가?
- 점검하려는 편향 경로를 두 결과가 비교 가능하게 공유하는가?
- 뜻밖의 연관과 무연관을 각각 어떤 제한 아래 해석했는가?
음성대조의 연관이 원래 효과의 편향 크기나 원인을 자동으로 알려 주지는 않아요. 같은 크기를 빼서 ‘보정된 효과’를 만들려면 별도의 강한 가정과 방법이 필요해요. 충돌변수에 조건을 걸어 연관이 열리는 문제는 가능한 편향 중 하나예요. 모든 음성대조 결과의 원인을 그렇게 판정하는 규칙은 아니에요.
음성대조는 효과의 진위를 도장 찍는 검사가 아니에요. 인과경로가 없다는 가정과 편향 경로의 비교 가능성을 함께 확인해요. 예상 밖의 연관을 더 읽어야 할 신호로 쓰는 독해 도구예요.