기사입력 2016-04-08 14:20:12
기사수정 2016-04-08 15:49:33
“ARS, 하루짜리, 응답률 10% 미만, 가중치가 큰 조사는 믿지 마라”
지난달 28일. 중앙선거여론조사 공정심의위원회의 홈페이지(www.nesdc.go.kr)에 20대 국회의원 총선과 관련한 같은 지역구 여론조사 3개가 잇따라 등록됐다.
여야의 격전지로 떠오른 ‘낙동강 벨트’ 가운데 하나인 부산 북·강서갑을 대상으로 한 거였다. 이 지역은 새누리당 박민식 후보와 더불어민주당 전재수 후보의 양강 구도를 형성 중이다.
<부산일보>와 <국제신문> 그리고 박 후보의 의뢰를 받은 여론조사 결과였다. 먼저 박 후보 의뢰로 ㈜폴리컴이 지난달 25∼26일 1029명을 상대로 한 유선전화 ARS(자동응답시스템) 조사(95% 신뢰수준에 표본오차 ±3.1%p)에선 박 후보가 45.7%, 전 후보가 43.6%로 오차범위 내 접전을 벌였다.
하지만 부산일보 의뢰로 한국사회여론연구소가 지난달 27일 1620명을 상대로 한 유선전화 ARS조사(95% 신뢰수준에 표본오차 ±2.4%p)에선 전 후보(51.8%)가 박 후보(38.5%)를 큰 차이로 앞섰다.
반면 국제신문 의뢰로 ㈜리서치앤리서치가 같은 달 26∼27일 500명을 상대로 한 유선전화 면접 조사(95% 신뢰수준에 표본오차 ±4.4%p)에선 박 후보(39.3%)가 전 후보(26.4%)를 크게 앞섰다(홍정규 이정현, 2016. 4. 1. 참고).
거의 같은 날 같은 지역구민을 대상으로 한 조사였지만 그 결과는 전혀 달랐다. 더구나 20대 총선 관련 여론조사는 수백곳에서 1000건 넘게 쏟아지고 있다.
문제는 여론조사 시기나 기관, 방법마다 그 결과가 너무 다르다는 점이다. 자고 나면 순위가 뒤집히고, 지지율도 뒤죽박죽이다. 유권자들의 혼란이 가중될 수밖에 없다.
문제는 유권자들의 단순한 혼란 수준을 넘어서 잘못되거나 부정확한 여론조사로 인해 민초들의 표심마저 왜곡될 수 있다는 점이다. 하나의 특정 의견이 다수의 사람들에게 인정되고 있다면 반대되는 의견을 가진 소수의 사람은 고립에 대한 공포로 침묵하려 하는 이른바 ‘침묵의 나선 이론(沈默螺線理論·Spiral of Silence Theory)’이나 여론조사 지지율이 높은 후보에 투표하는 이른바 ‘편승 효과(便乘效果)’ 또는 ‘밴드왜건 효과(Bandwagon effect)’ 등은 이러한 여론이 대중에 미치는 효과를 설명하는 이론이기도 하다.
심지어 더불어민주당 문재인 전 대표는 유선전화 조사를 금지해야 한다고 격하게 반응하기도 했다. 그는 지난 31일 “여론조사는 대부분 유선전화(집 전화)로 조사되는 데 응답률이 지극히 낮아 대표성 등에 문제가 있다. 바닥 민심과 차이가 있다”며 휴대전화 안심번호를 통해 여론조사 실시를 주장했다.
전문가들은 여론조사의 조사방법과 과다한 가중치 적용, 조사기간, 응답률 등에서 개선이 시급하다고 입을 모으고 있다. 이런 요소가 여론조사의 정확도를 좌우하기 때문이다.
연구 결과 △전화면접조사가 아닌 ARS조사 △하루 만에 완료된 조사 △응답률 10% 미만의 조사 △가중치 폭이 큰 조사는 그 정확도가 현저히 떨어지는 것으로 확인됐다.
숙명여자대 대학원 황다솜씨는 2015년 석사학위논문 <2014년 지방선거 전화여론조사 예측오차 분석>에서 2014년 5월17일부터 28일까지 동시지방선거 광역단체장의 전화여론조사 중 응답률 1% 미만과 전화조사 이외의 방법을 택한 조사를 제거한 150개의 여론조사를 대상으로 분석한 결과 이 같은 나타났다고 주장했다.
논문에 따르면 ARS방법으로 이뤄진 여론조사는 편향(오차) 비율이 무려 0.6364로 나타나 전화면접방식으로 이뤄진 조사(0.3846)보다 거의 2배 가까이 높은 것으로 조사됐다. 그만큼 오차가 크고 정확성이 떨어진다는 얘기다.
특히 △유선 ARS △유무선 ARS △유선 전화면접 △유무선 전화면접 가운데 유무선 전화면접이 가장 안정적이고 정확한 조사결과가 산출된다고 황씨는 주장했다.
조사기간에 따른 편향도 상당했다. 하루 동안 조사한 여론조사의 경우 편향 비율이 0.5484로, 이틀 이상 조사한 경우(0.4118)보다 훨씬 높아 상대적으로 부정확하다는 지적이다. 특히 조사 기간이 하루에 그친 경우 당시 여론 조사에서 우위일 것으로 추정된 후보의 지지율 편향이 나타났다.
응답률과 가중치 부여도 여론조사의 품질을 좌우하는 요소로 꼽혔다. 응답률이 낮을수록, 가중치 비가 커질수록 편향 비율도 증가하는 것으로 나타났다.
황씨는 이에 따라 논문에서 “ARS조사보다는 전화면접조사, 하루보다는 이틀 이상의 기간 동안 수행한 조사, 응답률 10% 이상 조사, 가중치 폭이 작아질 수 있도록 할당된 범주별 표본 크기를 꼼꼼히 채우는 조사를 통해 더 정확한 조사결과를 얻을 수 있다”고 지적했다. 한편 허순영·장덕준의 연구(2014. 10)에 따르면 2012년 대통령선거 전화 여론조사의 평균 설문 문항수는 16개였고, 질문의 총 음절수는 1300개였다. 이를 다시 ARS 방식으로 환산할 경우 질문 음절수는 1114개로, 이에 따른 조사시간은 223초 정도가 소요됐던 것으로 추정됐다. 이에 따른 응답자 1인당 기회비용은 780원 수준이었다.
김용출 기자 kimgija@segye.com
<참고문헌>
-허순영, 장덕준(2014. 10). 설문조사 응답자 기회비용에 관한 연구-2012년 대선 선거여론조사를 중심으로. 통계연구, 제19권 제2호, p.147-159.
-홍정규 이정현(2016. 4. 1). 여론조사 '오락가락', 같은 날 결과는 정반대. 연합뉴스, 2016/04/01 12:02(송고시간).
http://www.yonhapnews.co.kr/bulletin/2016/04/01/0200000000AKR20160401088400001.HTML?input=1195m
-황다솜(2015. 2). 2014년 지방선거 전화여론조사 예측오차 분석. 숙명여자대 대학원. 석사학위논문.