주요 콘텐츠로 건너뛰기

여론조사 ‘정확성’ 평가…1/3이 당선자 틀렸다

지역

여론조사 ‘정확성’ 평가…1/3이 당선자 틀렸다

익명 (미확인) | 목, 2017/04/20- 18:57

여론조사는 얼마나 정확한 것일까? 뉴스타파는 2014년 지방선거부터 2016년 총선까지 국내 여론조사기관들이 내놓은 선거 예측이 얼마나 정확했는지 분석했다. 그 결과 조사오차가 평균 9.6%p에 이르렀고 전체 중 36%의 조사는 당선을 맞추지 못하는 수준이었다.

여론조사 얼마나 정확하게 예측했나?

여론조사기관 ‘예측정확성’ 분석(수정오차 기준)

순위 조사기관명 조사 건수 당선자예측 성공률 단순 오차 수정 오차
1 한국CNR/케이엠조사연구소 7 71% 5.12 -6.61
2 현대리서치연구소 9 67% 3.94 -5.02
3 케이엠조사연구소 38 66% 5.85 -3.51
4 순천투데이(전남리서치연구소) 5 80% 6.10 -3.45
5 에이스리서치 10 70% 5.20 -2.85
6 폴스미스 14 79% 6.91 -2.59
7 중앙일보 조사연구팀/엠브레인 25 72% 8.84 -2.15
8 아이디인큐(오픈서베이) 9 33% 5.75 -1.82
9 한길리서치센타 75 65% 7.73 -1.70
10 한국CNR 11 73% 8.81 -1.69
11 큐리서치 5 60% 6.69 -1.69
12 한국리서치 60 65% 7.86 -1.52
13 마크로밀엠브레인 101 67% 8.46 -1.40
14 TNS KOREA 37 68% 8.13 -0.89
15 모노리서치 51 73% 8.69 -0.67
16 강원도민일보 부설 강원사회조사연구소 5 80% 7.94 -0.63
17 밀워드브라운미디어리서치 97 72% 8.80 -0.62
18 포커스컴퍼니 27 56% 9.27 -0.57
19 리서치앤리서치 126 58% 9.07 -0.23
20 중앙일보 조사연구팀 41 61% 9.42 0.15
21 조원씨앤아이 36 75% 9.73 0.18
22 유앤미리서치 18 67% 9.96 0.18
23 리얼미터 296 60% 9.77 0.19
24 휴먼리서치 13 62% 9.89 0.31
25 메트릭스코퍼레이션 8 50% 8.23 0.32
26 코리아리서치센터 130 62% 10.53 0.48
27 여민리서치컨설팅 20 50% 11.07 0.93
28 한국갤럽조사연구소 51 71% 10.65 1.05
29 비전코리아 5 60% 10.34 1.26
30 리서치플러스 31 61% 10.26 1.54
31 한국인텔리서치 11 73% 11.06 1.67
32 충청한길리서치 10 70% 12.08 1.82
33 대구한길리서치 7 71% 11.12 1.94
34 리서치뷰 21 62% 11.47 2.40
35 케이에스리서치 5 40% 11.42 2.86
36 폴리컴 5 80% 14.56 3.45
37 윈스리서치 19 68% 13.35 3.69
38 윈폴(WINPOLL) 15 53% 15.50 5.39
39 한백리서치연구소 6 33% 14.42 5.85
40 경기동부신문 5 60% 16.35 6.18
41 한국사회여론연구소(KSOI) 18 56% 17.31 6.68
42 좋은날리서치 5 100% 19.19 8.98
총합계 1,557 64% 9.55 0.00

▲ 분석대상과 기간: 2014년 지방선거 ~ 2016년 총선 사이 선거 예측조사

전체 분석대상 여론조사 1,557건의 단순오차는 평균 9.55%p로 나타났다. 즉, 여론조사들이 선거에서 1위와 2위 후보의 득표율 차이를 평균 9.55%p 잘못 예측한 것이다. 선거별로 단순오차를 보면 2014년 지방선거는 8.5%p, 2016년 총선은 10.6%p였다. 선거구가 작아질 수록 오차는 더 커지는 것으로 나타났다.

선거유형 조사 건수 단순오차
광역단체장 239 7.89
교육감 145 8.35
기초단체장 336 9.08
국회의원 837 10.41
총합계 1,557 9.55

1,557건의 여론조사 중 당선자 예측에 성공한 조사는 996건으로 예측 성공률은 64%였다. 36%인 561건은 당선자를 예측하는 데 실패했다. 당선자 예측에 실패한 조사의 단순오차는 평균 13.65%p로 나타났는데, 이는 당선자를 예측한 조사의 단순오차인 7.23%p보다 두 배 가까이 높은 수치다.

당선자 예측 여부 조사 건수 단순오차
성공 996 7.23
실패 561 13.65
총합계 1,557 9.55

단순오차를 기준으로 여론조사기관을 평가하는 데는 한계가 있다. 조사기관의 책임으로 볼 수 없는 요인들이 오차를 초래했을 수 있기 때문이다. 뉴스타파는 회귀분석을 통해 조사시점, 표본크기, 선거유형이 미치는 영향을 통제한 뒤 새로운 오차, 즉 수정오차를 계산했다. 수정된 오차를 기준으로 여론조사기관의 예측정확성 순위를 평가한 결과 메이저 여론조사기관이 중위권에 머물러서 회사규모가 크거나 전통이 있다고 더 정확한 것은 아닌 것으로 나타났다. 조사 건수가 296건으로 가장 많았던 리얼미터의 예측정확성 순위는 중위권인 23위였다. 오랜 전통을 가진 한국갤럽은 이보다 낮은 28위였다. 2015년 기준 리서치업계 매출액 1위인 칸타코리아의 전신인 TNS코리아와 미디어리서치는 각각 14위와 17위로 나타났다. 매출액 2위 한국리서치는 이보다 조금 높은 12위였다.

예측정확성 순위와 조사방법 사이의 관계도 살펴봤다. 유선전화 표집 여부와 자동응답시스템(ARS) 사용 여부에 따라 조사기관을 네 그룹으로 나눴다. 대부분의 조사를 유선전화를 대상으로 ARS만을 써서 조사하는 회사는 13곳이었는데, 예측정확도 순위가 가장 낮은 기관 10곳 중 6곳이 이 그룹에 속했다. 한편, 무선전화를 혼합해서 조사하는 비중이 상대적으로 높고, 전화면접 비중이 높은 회사는 18곳이었다. 예측이 가장 정확한 회사 10곳 중 6곳이 이 그룹에 속했다.

어떻게 분석했나?

1.오차란?

선거 여론조사가 실제 선거 결과를 얼마나 정확하게 예측했는지는 예측값과 참값의 차이로 평가할 수 있다. 여기서 예측값은 조사기관이 내놓은 지지율이 되고 참값은 실제 투표에서 얻은 득표율이 된다.

조사오차 = 예측값(여론조사 지지율) – 참값(선거 득표율)

2. 데이터 수집

지지율, 즉 여론조사기관들의 선거예측 데이터는 중앙선거여론조사심의위원회(여심위) 홈페이지에서 수집했다. 2014년 3월 여론조사 결과 등록 제도가 시행된 이후 2017년 4월 16일 현재까지 여심위 홈페이지에 등록된 조사건수는 3,396개였다. 이 가운데 선거일로부터 4주 이내에 조사된 여론조사는 모두 1,557건이었다. 여심위 홈페이지의 첨부파일을 열어 일일이 확인하는 수작업을 거쳤다. 득표율, 즉 실제 투표에서 각 후보가 얻은 득표율 데이터는 중앙선거관리위원회가 관리하는 선거통계시스템에서 가져왔다.

선거명 조사 건수
제6회 전국동시지방선거 705
2014년 상반기 재·보궐선거 54
2015년 상반기 재·보궐선거 26
제20대 국회의원선거 757
2016년 재·보궐선거 15
총합계 1,557

3. 단순오차

개별 후보들의 지지율과 득표율을 바로 비교하기는 어렵다. 여론조사에서는 ‘지지후보가 없다’는 등의 무응답이 있지만 실제 투표에서는 없기 때문이다. 이같은 문제를 해결하기 위해 학계에서는 후보간 지지율의 차이를 예측값으로, 같은 후보간의 득표율 차이를 참값으로 보고 그 차이를 계산해 여론조사의 정확성을 평가하는 경향이 있다. 뉴스타파는 선거에서 당선자와 2위 후보의 득표율 차이와 같은 후보들의 여론조사에서의 지지율 차이를 비교해 오차를 계산했다.

단순오차 = (선거 1, 2위 후보간 득표율 차이) – (여론조사 동일 후보 지지율 차이)


4. 수정오차

단순오차를 기준으로 여론조사기관을 평가하는 데는 한계가 있다. 여론조사기관의 책임으로 볼 수 없는 요인들이 오차를 초래했을 수 있기 때문이다. 대표적으로 고려되는 요인이 바로 조사가 이뤄진 시점이다. 선거일에 가까운 조사일수록 더 정확할 가능성이 높다. 또 선거 유형과 표본크기도 오차에 영향을 미치는 요인으로 알려져 있지만 조사기관의 책임으로 볼 수 없는 요인들이었다. 뉴스타파는 이 세 가지 요인이 오차에 미치는 영향을 통제하기 위해 회귀분석을 수행하고, 각 조사별로 잔차 값을 계산하는 방식으로 ‘수정오차’를 계산했다.

회귀분석의 종속변인으로는 ‘단순오차’, 독립변인으로는 조사일과 선거일 사이의 거리, 표본크기, 선거 유형이 사용됐다. 미국의 여론조사전문매체인 파이브서티에이트(FiveThirtyEight)이 적용해 공신력을 인정받은 방식이다. 조사업계와 학계에서 사용되는 다른 지표들과 비교한 결과 타당성에 문제가 없다고 판단했다.

※분석 결과에 이견이 있거나 개선사항을 제안하고 싶은 경우, 최문호([email protected]) / 김강민([email protected])에게 연락바랍니다.


취재: 최문호, 김강민, 최윤원, 연다혜
촬영: 김남범, 최형석
편집: 이선영
자료 입력: 김현우, 이수련

시민들의 의견

댓글 달기

Plain text

  • 웹 페이지 주소 및 이메일 주소는 자동으로 링크로 전환됩니다.
  • 줄과 단락은 자동으로 분리됩니다.
  • 사용할 수 있는 HTML 태그: <a href hreflang> <em> <strong> <cite> <blockquote cite> <code> <ul type> <ol start type> <li> <dl> <dt> <dd>
이미지
무제한 수의 파일을 이 필드에 업로드할 수 있습니다.
50 MB 한계입니다.
허용된 유형: png gif jpg jpeg.
Enter the YouTube URL. Valid URL formats include: http://www.youtube.com/watch?v=1SqBdS0XkV4 and http://youtu.be/1SqBdS0XkV4.
CAPTCHA
스펨 사용자 차단 질문

상암동… 복직한 동료들과 함께 공영방송 정상화 첫 걸음 떼다

아침 8시 상암동 MBC 사옥 앞. MBC 구성원들이 레드카페트를 까느라 분주했다. 5년 만에 회사로 돌아오는 해직 언론인 6명의 첫 출근길을 환영하기 위해서다. 영하 7도의 매서운 추위였지만 수 백명이 레드카페트 앞에 도열해 복직하는 동료들을 기다렸다.

30분 뒤 복직자들이 도착했다. 복막암으로 투병 중인 이용마 기자도 휠체어에 의지해 5년 만의 출근길에 함께 했다.

이들은 MBC 구성원들이 마련한 약식 환영행사에서 오랫동안 기다려 준 동료들에게 감사를 표하고 대표 공영방송 재건을 함께 할 것을 다짐했다.

2017121101_01

정영하 정책기획부장은 “6명이 온전히 같이 서 있게 돼서 기쁘다”면서 “걱정도 많았고 염려도 많았지만, 이 자리에서 이렇게 나와서 우리를 반겨준 동료들이 있었기 때문에 오늘의 복직이 가능했다”고 소감을 밝혔다.

오는 18일부터 뉴스데스크 앵커로 내정된 박성호 앵커는 “해직 뒤 혼자라고 생각할 때도 있었지만, 결국은 여기 있는 여러분과 우리를 응원하고 지지해준 시민 여러분의 힘으로 회사로 돌아왔다”면서 “관심과 응원이 얼마나 사람을 일으켜 세울 수 있는지 직접 느꼈기에 우리도 그렇게 해야 한다고 생각한다”고 말했다.

강지웅 피디는 “정년 퇴임까지 십여 년 남았는데 분골쇄신해서 즐겁게 일할 수 있는 직장이 되도록 최선을 다하겠다.”고 다짐했고, 박성제 취재센터장은 “해직 언론인들이 돌아가서 이제 MBC가 제대로 할 것이라고 기대하시는 분들이 많아서 부담이 큰 것도 사실”이라고 밝혔다.

최승호 사장은 “절대 잊어선 안 될 것은 우리의 승리에 국민의 가호가 있었다는 점”이라고 강조하면서 “시민이라는 가장 중요한 키워드를 항상 품고 방송으로 우리의 마음을 표출하고 마침내 MBC가 대한민국의 대표 공영방송으로 우뚝 설 수 있도록 만드는 일만 남았다”고 말했다.

이용마 기자는 “지금도 자신들의 억울한 목소리를 아무리 외쳐대도 이 사회에 반영되지 못해서 고통 받고 있는 사회적 약자들이 우리 주변에 많이 있을 것”이라면서 “과거 우리들의 모습을 상기하면서 그 분들의 목소리를 우리가 담아낼 수 있도록 노력해야 할 것”이라고 당부했다.

광화문… 얼어붙은 거리 위에서 공영방송 정상화 외치다

한편 고대영 사장 퇴진과 이사회 해체를 요구하는 전국언론노조 KBS본부(이하 KBS 새노조)의 파업은 오늘 자정을 기해 100일 째에 접어든다. 성재호 KBS 새노조 위원장과 김환균 전국언론노조 위원장은 5일 째 단식 중이다.

지난달 24일 감사원은 KBS 일부 이사들이 업무추진비를 사적인 용도로 부당하게 사용한 것으로 드러났다고 발표하고, 이사 10인에 대해 업무추진비와 사적사용 규모 등 비위의 경중을 고려해 해임건의 또는 이사연임추천 배제 등 적정한 인사조치를 마련하라고 방송통신위원회에 건의했다.

2017121101_02

성재호 위원장은 감사원 감사 결과가 나온 지 보름이 지났는데도 아무 결론을 내리지 않은 채 시간만 보내고 있는 건 방통위의 직무유기라고 지적했다. 또 “공영방송 정상화 투쟁에서 MBC보다 KBS가 많이 뒤쳐져 있는 상황이지만, 지난 9년 동안의 적폐와 부역세력들을 청산하고 새로운 출발선에 하루 빨리 서기 위해 지금 할 수 있는 모든 것을 다 해보고자 한다”고 말했다.

한파가 몰아치는 광화문광장, 성재호 위원장의 단식 텐트 바깥 쪽에서는 KBS 새노조 조합원들의 릴레이 발언이 150시간 넘도록 이어지고 있었다.


취재 : 신동윤
촬영 : 오준식
편집 : 박서영

월, 2017/12/11- 18:30
10,574
0

중앙일보 기사 중..

전국 최대 선거구인 강원 홍천-철원-화천-양구-인제 지역구 조사(3월 31일~4월 1일 실시)에선 새누리당 황영철 후보(43.1%)와 더민주 조일현 후보(22.8%)의 격차가 20.3%포인트였다. 두 후보는 2000년 16대 총선부터 이번이 다섯 번째 대결이다. 지금까진 2승1무1패로 황 후보의 우세다. 16대 총선 당시 황 후보는 한나라당, 조 후보는 자민련 소속으로 출마해 모두 낙선하고 새천년민주당 유재규 후보가 승리했다.

토, 2016/04/09- 17:37
2,096
0

413 총선 부산 사상 여론조사 - YTN 4.1

부산 사상은 애초 여성 후보 간의 대결로 관심을 끌었습니다.

더민주에서는 불출마를 선언한 문재인 전 대표를 대신해 배재정 의원이 재선 도전에 나섰고, 새누리당은 지난 총선에서 패했던 손수조 후보가 다시 출사표를 던졌습니다.

하지만 새누리당 공천에서 탈락한 장제원 전 의원이 무소속으로 출마하자, 상황은 급변했습니다.

장제원 후보가 35.8%의 지지율로, 22.7%를 기록한 새누리당 손수조 후보, 24.5%의 더민주 배재정 후보를 압도했습니다.

반드시 투표하겠다고 응답한 층에서 장제원 후보의 지지율은 더 견고하게 나타났습니다.

토, 2016/04/09- 18:21
1,397
0

부산광역시/북구강서구갑 여론조사

CBS와 국민일보가 공동으로 여론조사 전문기관인 조원씨앤아이에 의뢰해 지난 1~3일 실시한 '후보지지도' 여론조사에서 박 후보는 38.4%를 얻은 반면, 전 후보는 46.7%를 기록했다.

지지하는 후보에 대해 '없음' 혹은 '잘 모름'이라고 답한 무당파는 14.9%에 달했다.

두 후보 간 지지율 격차는 8.3% 포인트(p)로 오차범위(8.8%p) 안의 접전 양상이었다. 그러나 "반드시 투표하겠다"는 적극 투표 계층에선 격차가 더 벌어져 박 후보가 34.3%, 전 후보가 59.3%를 각각 기록했다.

토, 2016/04/09- 18:17
1,373
0

중국 상용비자용 초청장을 발급하던 중국 여행사가 초청장 발급 업무를 중단해 중국을 사업상 방문하려는 여행자들에게 큰 불편이 일어나고 있다. 사드(THAAD)배치 결정으로 인한 중국 당국의 보복 조치가 아닌지 우려도 커지고 있다.

무발국제여행사유한책임공사(이하 무발여행사) 한국 영업소는 오늘(8월3일) 오전 비자발급 대행업무를 맡아오던 국내 여행사들에 이메일을 보내 오늘부로 초청장 발급 업무를 중단한다고 밝혔다.

그동안 중국 상용비자를 발급받기 위해서는 중국측 업체의 초청장을 첨부하거나 무발여행사가 발급하는 초청장을 첨부해야 했다. 중국 현지에 공식적인 협력사가 있는 경우는 해당 협력사가 발행한 초청장을 첨부했지만 마땅한 중국 협력사가 없는 중소기업이나 개인사업자의 경우는 비자발급 대행업체를 통해 무발여행사가 발급하는 초청장을 첨부해 왔다.

무발여행사는 중국 정부가 지정한 상용비자 초청장 발급 기관으로 국내에 사업소를 두고 상용비자 초청장 업무를 독점해왔다.

그러나 이번 무발여행사의 초청장 발급 중단 조치로 중소기업과 개인사업자의 경우 비자 신청에 큰 불편을 겪게 됐다. 뿐만 아니라 상용비자 발급 서비스를 대행해주고 수수료를 받아온 국내 여행업체들에게도 적지 않은 타격이 예상된다.

비자발급 대행사인 H 여행사 관계자는 무발여행사 측이 전화를 걸어와 “중국 정부의 정책 변경으로 더 이상 업무를 할 수 없게 됐다”며 “초청장 발급 계약을 파기하고 보증금을 환불해주겠다”고 밝혔다면서 일시적인 중단이 아니라 사업소를 철수하려는 것으로 보인다고 말했다.

또 “지난 7월 초청장 제도가 일부 바뀌게 되었을 때만 해도 지난 5월에 사전 공지가 있었다”면서 이번 조치는 사전 통지 없이 매우 급작스럽게 이뤄져 큰 혼란을 겪고 있다”면서 덧붙였다.

또 다른 비자발급 대행사인 M 여행사 관계자는 “이제 상용비자를 신청하려면 신청자가 직접 중국 업체가 제공하는 초청장을 가져와야 한다”면서 “일반인들의 경우 초청장 발급 업무를 직접 하기 힘들기 때문에 큰 불편을 겪을 것”으로 예상했다.

무발여행사 관계자는 뉴스타파와의 통화에서 초청장 발급 업무가 중단된 이유를 묻는 질문에 “중국 대사관의 지시”라고 밝혔다. 그러나 어떤 이유로 대사관이 중단 지시를 했는지에 대해선 “알지 못한다”고 밝혔다.

이에 대해 중국 대사관 측은 중국 대사관 영사부가 상용비자 발급 중단 공문을 여행사에 보냈다는 일부 소문은 사실이 아니라면서 “비자발급 업무에 대해 어떤 공지도 보낸 사실이 없으며 평소와 같이 업무를 진행하고 있다”고 밝혔다. 또한 무발여행사에 초청장 발급 중단을 지시했는지에 대해선 “자신은 알지 못한다”고 밝혔다.

상용비자 초청장 발급의 갑작스런 중단 조치가 한국의 사드배치로 인한 것이 아니냐는 우려도 확산되고 있다.

비자발급 대행업체인 J 여행사 관계자는 “업계 모두 진행하던 업무에 차질을 빚고 있다면서 사드로 인한 피해가 가시화되는 것이 아닌가 하는 말들이 나오고 있다”고 말했다.

이에 대해 외교부의 영사서비스과는 “무발여행사가 초청장 발급을 중단하게 된 것은 주한 중국 대사관과는 무관한 것으로 업체 내부에 문제가 발생해 중국 정부로부터 자격정지 조치를 받았기 때문인 것으로 확인됐다”면서 사드와의 관련성을 부인했다.

그러나 “중국업체가 다른 업체를 초청장 발급사로 지정할 지에 대해선 알 수 없다”고 밝혀 중국 상용비자를 받으려는 한국인의 경우 상당 기간 큰 불편을 겪을 수밖에 없을 것으로 보인다.

수, 2016/08/03- 18:00
1,338
0