[단독] 표본오차 없는 여론조사, '서열화' 불가능 … "MBC 신뢰도 1위" 英 로이터 보고서의 '맹점'

최근 더불어민주당 등 야권에서 '한국언론진흥재단이 MBC 뉴스의 신뢰도를 가장 높게 평가한 해외 연구소의 여론조사결과를 애써 감추려 한다'며 '언론 진흥이 아닌, 통제가 이뤄지고 있다'고 비판하고 있으나, "거론된 조사결과는 '비확률 표본추출(Non-probability sampling)' 방식으로 얻어진 것이라, '표본오차'를 구할 수 없어 애당초 '서열화'가 불가능한 자료"라며 "'오차범위' 표기도 없이 언론사 서열을 매긴 자료를 준정부기관인 언론재단이 배포하지 않은 것은 당연하다"는 지적이 제기됐다.

여론조사 전문가 A씨는 20일 뉴데일리와의 인터뷰에서 "국내에서는 영국 옥스퍼드대 부설 '로이터저널리즘연구소(Reuters Institute for the Study of Journalism)'의 '디지털뉴스 리포트'를 매우 권위 있는 자료처럼 여기는 경향이 있으나 이 자료는 '패널조사'로 이뤄진 것으로, 표본을 선택하는 과정에 조사자의 주관이 개입될 소지가 있다"며 "조사 방법은 간편하고 경제적이나 '표본추출로 인한 오차'를 추정하기 어렵다는 맹점을 안고 있다"고 설명했다.

"쉽게 말해 '로이터저널리즘연구소'가 여론조사기관 '유고브'와 손을 잡고, 유고브가 보유한 패널들에게 '이메일'을 보내 설문조사를 진행한 것"이라고 부연한 A씨는 "자발적인 참여자를 대상으로 실시한 패널조사로 '확률'에 기반하지 않아, 표본오차를 구할 수 없는 조사 방식"이라고 밝혔다.

A씨는 "'확률 표본추출(Probability sampling)' 방식은 확률에 기반해 표본을 추출하기 때문에 오차를 계량화하는 게 가능하지만, '비확률 표본추출' 방식은 그렇지 않다"며 "보통 가설 등을 수립할 때 쓰는 방식으로 도출된 결과를 갖고 순위를 매기는 건 곤란하다"고 강조했다.

A씨는 "또한 로이터저널리즘연구소가 공개한 자료에 따르면 온라인 조사로 한국 성인 2015명으로부터 응답을 받아 집계한 것으로 나오는데, 정작 '응답률'이 얼마인지는 공개되지 않았다"며 "표본의 정확성을 추정하기 어렵다"고 단정했다.

A씨는 "국내 인터넷 및 방송 심의규정은 '국민적 관심사에 관한 여론조사결과를 보도할 때에는 △피조사자의 선정 방법 △표본의 크기 △조사 지역·일시·방법 △표본오차율 △응답률을 밝혀야 하고, 여론조사결과가 오차범위 내에 있는 경우에는 이를 사전에 명확히 밝혀야 하며, 이를 밝히지 않고 서열화 또는 우열을 묘사해서는 안 된다'고 명시하고 있다"며 "따라서 'MBC의 신뢰도가 1위'라는 로이터저널리즘연구소의 리포트를 언론재단이 공표해 언론 보도로 이어질 경우, 각종 심의 규정에 저촉될 소지가 있다"고 지적했다.

로이터저널리즘연구소가 발행한 '2024 디지털뉴스 리포트'에 따르면 △MBC 57% △YTN 56% △JTBC 55% △SBS 54% △KBS 51% 순으로 한국 방송 매체별 신뢰도가 집계됐다. 이어 '불신도' 조사에선 △MBC 22% △YTN 17% △JTBC 19% △SBS 19% △KBS 25%로 집계돼 통계적으로 의미를 부여하기 힘든 결과가 나왔다.

로이터저널리즘연구소도 해당 조사가 비확률 표본추출 방식으로 진행돼 오차범위를 계산하는 게 불가능하다고 밝히고 있다.

'2024 디지털뉴스 리포트' 6페이지 'methodology'를 보면 아래와 같은 문단이 나온다.

"The use of a non-probability sampling approach means that it is not possible to compute a conventional ‘margin of error’ for individual data points. However, differences of +/- 2 percentage points (pp) or less are very unlikely to be statistically significant and should be interpreted with a very high degree of caution."

이는 "비확률 표본추출 방식을 사용한다는 것은 개별 데이터 포인트에 대한 오차범위를 계산하는 것이 불가능하다는 것을 의미한다"며 "특히 ±2% 포인트 이하의 차이는 통계적으로 유의미할 가능성이 거의 없으므로 매우 주의해서 해석해야 한다"는 뜻으로 해석된다.