주요 콘텐츠로 건너뛰기

여론조사 ‘정확성’ 평가…1/3이 당선자 틀렸다

지역

여론조사 ‘정확성’ 평가…1/3이 당선자 틀렸다

익명 (미확인) | 목, 2017/04/20- 18:57

여론조사는 얼마나 정확한 것일까? 뉴스타파는 2014년 지방선거부터 2016년 총선까지 국내 여론조사기관들이 내놓은 선거 예측이 얼마나 정확했는지 분석했다. 그 결과 조사오차가 평균 9.6%p에 이르렀고 전체 중 36%의 조사는 당선을 맞추지 못하는 수준이었다.

여론조사 얼마나 정확하게 예측했나?

여론조사기관 ‘예측정확성’ 분석(수정오차 기준)

순위 조사기관명 조사 건수 당선자예측 성공률 단순 오차 수정 오차
1 한국CNR/케이엠조사연구소 7 71% 5.12 -6.61
2 현대리서치연구소 9 67% 3.94 -5.02
3 케이엠조사연구소 38 66% 5.85 -3.51
4 순천투데이(전남리서치연구소) 5 80% 6.10 -3.45
5 에이스리서치 10 70% 5.20 -2.85
6 폴스미스 14 79% 6.91 -2.59
7 중앙일보 조사연구팀/엠브레인 25 72% 8.84 -2.15
8 아이디인큐(오픈서베이) 9 33% 5.75 -1.82
9 한길리서치센타 75 65% 7.73 -1.70
10 한국CNR 11 73% 8.81 -1.69
11 큐리서치 5 60% 6.69 -1.69
12 한국리서치 60 65% 7.86 -1.52
13 마크로밀엠브레인 101 67% 8.46 -1.40
14 TNS KOREA 37 68% 8.13 -0.89
15 모노리서치 51 73% 8.69 -0.67
16 강원도민일보 부설 강원사회조사연구소 5 80% 7.94 -0.63
17 밀워드브라운미디어리서치 97 72% 8.80 -0.62
18 포커스컴퍼니 27 56% 9.27 -0.57
19 리서치앤리서치 126 58% 9.07 -0.23
20 중앙일보 조사연구팀 41 61% 9.42 0.15
21 조원씨앤아이 36 75% 9.73 0.18
22 유앤미리서치 18 67% 9.96 0.18
23 리얼미터 296 60% 9.77 0.19
24 휴먼리서치 13 62% 9.89 0.31
25 메트릭스코퍼레이션 8 50% 8.23 0.32
26 코리아리서치센터 130 62% 10.53 0.48
27 여민리서치컨설팅 20 50% 11.07 0.93
28 한국갤럽조사연구소 51 71% 10.65 1.05
29 비전코리아 5 60% 10.34 1.26
30 리서치플러스 31 61% 10.26 1.54
31 한국인텔리서치 11 73% 11.06 1.67
32 충청한길리서치 10 70% 12.08 1.82
33 대구한길리서치 7 71% 11.12 1.94
34 리서치뷰 21 62% 11.47 2.40
35 케이에스리서치 5 40% 11.42 2.86
36 폴리컴 5 80% 14.56 3.45
37 윈스리서치 19 68% 13.35 3.69
38 윈폴(WINPOLL) 15 53% 15.50 5.39
39 한백리서치연구소 6 33% 14.42 5.85
40 경기동부신문 5 60% 16.35 6.18
41 한국사회여론연구소(KSOI) 18 56% 17.31 6.68
42 좋은날리서치 5 100% 19.19 8.98
총합계 1,557 64% 9.55 0.00

▲ 분석대상과 기간: 2014년 지방선거 ~ 2016년 총선 사이 선거 예측조사

전체 분석대상 여론조사 1,557건의 단순오차는 평균 9.55%p로 나타났다. 즉, 여론조사들이 선거에서 1위와 2위 후보의 득표율 차이를 평균 9.55%p 잘못 예측한 것이다. 선거별로 단순오차를 보면 2014년 지방선거는 8.5%p, 2016년 총선은 10.6%p였다. 선거구가 작아질 수록 오차는 더 커지는 것으로 나타났다.

선거유형 조사 건수 단순오차
광역단체장 239 7.89
교육감 145 8.35
기초단체장 336 9.08
국회의원 837 10.41
총합계 1,557 9.55

1,557건의 여론조사 중 당선자 예측에 성공한 조사는 996건으로 예측 성공률은 64%였다. 36%인 561건은 당선자를 예측하는 데 실패했다. 당선자 예측에 실패한 조사의 단순오차는 평균 13.65%p로 나타났는데, 이는 당선자를 예측한 조사의 단순오차인 7.23%p보다 두 배 가까이 높은 수치다.

당선자 예측 여부 조사 건수 단순오차
성공 996 7.23
실패 561 13.65
총합계 1,557 9.55

단순오차를 기준으로 여론조사기관을 평가하는 데는 한계가 있다. 조사기관의 책임으로 볼 수 없는 요인들이 오차를 초래했을 수 있기 때문이다. 뉴스타파는 회귀분석을 통해 조사시점, 표본크기, 선거유형이 미치는 영향을 통제한 뒤 새로운 오차, 즉 수정오차를 계산했다. 수정된 오차를 기준으로 여론조사기관의 예측정확성 순위를 평가한 결과 메이저 여론조사기관이 중위권에 머물러서 회사규모가 크거나 전통이 있다고 더 정확한 것은 아닌 것으로 나타났다. 조사 건수가 296건으로 가장 많았던 리얼미터의 예측정확성 순위는 중위권인 23위였다. 오랜 전통을 가진 한국갤럽은 이보다 낮은 28위였다. 2015년 기준 리서치업계 매출액 1위인 칸타코리아의 전신인 TNS코리아와 미디어리서치는 각각 14위와 17위로 나타났다. 매출액 2위 한국리서치는 이보다 조금 높은 12위였다.

예측정확성 순위와 조사방법 사이의 관계도 살펴봤다. 유선전화 표집 여부와 자동응답시스템(ARS) 사용 여부에 따라 조사기관을 네 그룹으로 나눴다. 대부분의 조사를 유선전화를 대상으로 ARS만을 써서 조사하는 회사는 13곳이었는데, 예측정확도 순위가 가장 낮은 기관 10곳 중 6곳이 이 그룹에 속했다. 한편, 무선전화를 혼합해서 조사하는 비중이 상대적으로 높고, 전화면접 비중이 높은 회사는 18곳이었다. 예측이 가장 정확한 회사 10곳 중 6곳이 이 그룹에 속했다.

어떻게 분석했나?

1.오차란?

선거 여론조사가 실제 선거 결과를 얼마나 정확하게 예측했는지는 예측값과 참값의 차이로 평가할 수 있다. 여기서 예측값은 조사기관이 내놓은 지지율이 되고 참값은 실제 투표에서 얻은 득표율이 된다.

조사오차 = 예측값(여론조사 지지율) – 참값(선거 득표율)

2. 데이터 수집

지지율, 즉 여론조사기관들의 선거예측 데이터는 중앙선거여론조사심의위원회(여심위) 홈페이지에서 수집했다. 2014년 3월 여론조사 결과 등록 제도가 시행된 이후 2017년 4월 16일 현재까지 여심위 홈페이지에 등록된 조사건수는 3,396개였다. 이 가운데 선거일로부터 4주 이내에 조사된 여론조사는 모두 1,557건이었다. 여심위 홈페이지의 첨부파일을 열어 일일이 확인하는 수작업을 거쳤다. 득표율, 즉 실제 투표에서 각 후보가 얻은 득표율 데이터는 중앙선거관리위원회가 관리하는 선거통계시스템에서 가져왔다.

선거명 조사 건수
제6회 전국동시지방선거 705
2014년 상반기 재·보궐선거 54
2015년 상반기 재·보궐선거 26
제20대 국회의원선거 757
2016년 재·보궐선거 15
총합계 1,557

3. 단순오차

개별 후보들의 지지율과 득표율을 바로 비교하기는 어렵다. 여론조사에서는 ‘지지후보가 없다’는 등의 무응답이 있지만 실제 투표에서는 없기 때문이다. 이같은 문제를 해결하기 위해 학계에서는 후보간 지지율의 차이를 예측값으로, 같은 후보간의 득표율 차이를 참값으로 보고 그 차이를 계산해 여론조사의 정확성을 평가하는 경향이 있다. 뉴스타파는 선거에서 당선자와 2위 후보의 득표율 차이와 같은 후보들의 여론조사에서의 지지율 차이를 비교해 오차를 계산했다.

단순오차 = (선거 1, 2위 후보간 득표율 차이) – (여론조사 동일 후보 지지율 차이)


4. 수정오차

단순오차를 기준으로 여론조사기관을 평가하는 데는 한계가 있다. 여론조사기관의 책임으로 볼 수 없는 요인들이 오차를 초래했을 수 있기 때문이다. 대표적으로 고려되는 요인이 바로 조사가 이뤄진 시점이다. 선거일에 가까운 조사일수록 더 정확할 가능성이 높다. 또 선거 유형과 표본크기도 오차에 영향을 미치는 요인으로 알려져 있지만 조사기관의 책임으로 볼 수 없는 요인들이었다. 뉴스타파는 이 세 가지 요인이 오차에 미치는 영향을 통제하기 위해 회귀분석을 수행하고, 각 조사별로 잔차 값을 계산하는 방식으로 ‘수정오차’를 계산했다.

회귀분석의 종속변인으로는 ‘단순오차’, 독립변인으로는 조사일과 선거일 사이의 거리, 표본크기, 선거 유형이 사용됐다. 미국의 여론조사전문매체인 파이브서티에이트(FiveThirtyEight)이 적용해 공신력을 인정받은 방식이다. 조사업계와 학계에서 사용되는 다른 지표들과 비교한 결과 타당성에 문제가 없다고 판단했다.

※분석 결과에 이견이 있거나 개선사항을 제안하고 싶은 경우, 최문호([email protected]) / 김강민([email protected])에게 연락바랍니다.


취재: 최문호, 김강민, 최윤원, 연다혜
촬영: 김남범, 최형석
편집: 이선영
자료 입력: 김현우, 이수련

시민들의 의견

댓글 달기

Plain text

  • 웹 페이지 주소 및 이메일 주소는 자동으로 링크로 전환됩니다.
  • 줄과 단락은 자동으로 분리됩니다.
  • 사용할 수 있는 HTML 태그: <a href hreflang> <em> <strong> <cite> <blockquote cite> <code> <ul type> <ol start type> <li> <dl> <dt> <dd>
이미지
무제한 수의 파일을 이 필드에 업로드할 수 있습니다.
50 MB 한계입니다.
허용된 유형: png gif jpg jpeg.
Enter the YouTube URL. Valid URL formats include: http://www.youtube.com/watch?v=1SqBdS0XkV4 and http://youtu.be/1SqBdS0XkV4.
CAPTCHA
스펨 사용자 차단 질문

 

공직자이해충돌방지법 제정 환영

– 청렴하고 공정한 공직사회의 기강을 세우는 기회로 삼아야 –

– 사적이해관계 등록 의무 등 사전예방위한 입법 보완 필요 –




「공직자 이해충돌방지법」과 국회의원 이해충돌방지법으로 불리는 「국회법」이 어제(4/29) 국회 본회의를 통과했다. 이로써 지난 8년간 도입 기회를 놓쳤던 공직자의 사익추구 방지제도가 어렵게 첫발을 떼었다. 경실련은 늦었지만 법제정을 환영하며 이번 입법을 통해 공직사회가 추락한 신뢰를 회복하는 계기가 될 것으로 기대한다. 정부는 지체 없이 법제도가 시행될 수 있도록 시행령 제정 등 후속조치에 만전을 기해야 한다.

지난 2013년 정부가 「부정청탁 및 금품등수수의금지에관한법률」(일명 ‘김영란법’)제정 과정에서 이해충돌 방지규정을 신설하고자 하였으나 국회 논의과정에서 삭제되었다. 이러한 법적 공백사태에서 손혜원 국회의원의 목포 부동산 투기사건이 터졌고, 박덕흠의원과 전봉민의원에 이어 최근 LH 사건까지 불거지면서 입법 필요성에 대한 여론이 확산됐다. 그러나 국회는 3월 처리를 약속했다가 선거를 핑계로 입법을 미루는 등 기득권을 지키려는 행태를 되풀이하면서 국민들의 불신과 분노를 자아냈다. 가까스로 입법이 되었지만 국회와 정치권은 이러한 구태로 국민을 실망시켜서는 안된다.

이번에 국회를 통과한 이해충돌방지법의 주요 내용은 직무 관련자에 대한 △사적 이해관계 신고와 회피, △고위공직자 임용 전 3년간 민간부분 업무활동 내용 제출 및 공개 △소속 기관 공직자 및 담당자 가족 채용 및 수의계약 제한 △직무상 미공개정보로 재산상 이익 취득 금지 규정을 담고 있다. 그러나 공직자의 사적 이해관계 신고와 회피 관련 규정은 이해충돌을 사후에 규제하는 방식에 초점이 맞추어져 사전 예방이라는 법제정 취지에는 다소 미흡하다.

공직자 사적이해관계 신고와 회피 관련 세부내용에서 공직자의 직무내용을 이해충돌소지가 있는 ‘직무 전반’이 아닌 인허가 등 16개 유형으로 제한하고 있으며, 각종 제한 조치에 대한 적용대상 기관을 ‘직무관련 기관’이 아닌 ‘소속기관’으로 적용대상 범위를 매우 협소하게 규정하고 있다. 또한 사적이해관계 신고의 경우 공직자가 신고 누락 시 처벌규정이 과태료 부과로 미흡하다. 따라서 사전예방이라는 법제정 취지에 부합하기 위해서는 포괄적 적용과 사전 등록 의무화 등 대상 확대와 투명성 확보 관련 보완조치가 필요하다. 향후 직무와 적용대상 기관을 보다 포괄적 범위로 규정하고 사적이해관계 등록과 공개를 재산 등록제도와 같이 매년 정기적으로 신고 의무화하여 사회적 감시가 가능하도록 투명성을 강화해야 한다.

공직사회의 공정한 업무수행과 부정부패를 방지하기 위한 제도 도입의 첫걸음을 시작했다. 오랜 시간 끌어온 만큼 공직자이해충돌방지제도가 올바르게 안착하고 정상적으로 작동할 수 있도록 모두의 노력이 필요하다. 경실련은 공직 부패와 투기근절 등 청렴한 공직사회 조성을 위해 제도시행 과정을 지켜보고, 후속 입법운동을 진행할 것이다. 여야 정치권은 공직 기강을 바로 세우는 것이 올바른 국정운영의 첫걸음임을 명심하고 추락한 공직사회의 신뢰를 회복하기 위해 더욱더 매진할 것을 촉구한다.

2021년 04월 30일

경제정의실천시민연합

 

첨부파일 : 20210430_성명_이해충돌방지법제정 환영.hwp

 

문의 : 경실련 정책국(02-766-5624)

토, 2021/05/01- 00:42
1
0

 

4년의 실책에 대한 쇄신 없는 안일한 인식

민생 포기, 민심 괴리된 정책으로 남은 1년 국민 고통 가중시킬 것인가?

 

문재인 대통령은 10일 취임 4주년 특별연설에서 남은 임기 1년의 국정운영에 대한 계획을 밝혔다. 문대통령은 코로나19의 위기에서도 방역 모범국가가 되었고, 코로나 이전 수준의 경제를 가장 빠르게 회복하는 나라가 되었다고 긍정적으로 평가하였으나 코로나 19로 더욱 심각해진 자산 양극화와 소비자물가 인상까지 우려되는 엄중한 현실을 직시하지 못했다. 특히 부동산 정책의 실패에 대해 전면적인 정책 쇄신이 아닌 기조 유지를 언급해 남은 임기 동안 집값을 잡겠다는 의지가 있는지 의심케 했다. 최근 장관 임명과 관련 반복되는 청와대의 인사검증 실패에 대한 지적에도 도덕성 흠결보다는 정책역량으로 판단해야 한다는 기존 입장을 반복해 매서운 민심과는 여전히 동떨어져 있다.
 

코로나19 격차와 양극화 극복을 위한 민생회복 대책 없어

문 대통령은 경제 부분과 관련하여 모든 경제지표가 회복의 흐름을 보여준다며, 수출 실적 규모와 DFL 경제 성장전망치, 고용상황 개선 등 현재의 경제상황을 낙관하고 있다. 이러한 대통령의 인식은 재벌기업들의 반도체 수출 실적 등 일부 외형적 지표 개선에 초점을 맞춘 것이나, 현재 우리 경제는 재벌과 대기업으로 쏠리는 구조로 중소기업과 소상공인들은 생존자체가 어렵고, 대중소기업 양극화도 더욱 심화되고 있다. 이러한 상황에서는 대중소기업 양극화 해소, 민생경제 회복을 위한 실효성 있는 대책이 나와야 하지만 한국판 뉴딜같은 토건정책에 중점을 두고 있다. 불평등과 양극화 심화로 고통받고 있는 현실조차 제대로 진단하지 못한 안일한 인식을 보여주고 있다.
 

집값 폭등 4년의 실책 쇄신없는 ‘정책기조 유지’는 집값 거품 떠받치겠다 것

50조 도시재생뉴딜, 임대사업자 특혜, 신도시건설과 같은 무분별한 공급 활성화 등 현 정부 4년간의 정책이 집값 상승의 불쏘시개 역할을 해왔다. 여기에 LH 등 공직자들의 광범위한 부동산 투기 의혹까지 제기되며 정부 부동산대책에 대한 불신과 비판을 더욱 키웠다. 대통령은 지난 보궐선거에서 부동산 가격을 안정시키지 못한 책임에 대해 엄중한 심판을 받았다며 인정하였지만, 기존 정책 기조의 유지하겠다는 입장을 밝혀 정책쇄신에 대한 의지를 확인할 수 없었다. 남은 임기 1년동안 집값을 잡겠다는 발언에 진정성이 있는지 회의적이다.

부동산정책 실패에 대한 국민의 심판을 엄중하게 받아들이고 집값 안정에 의지가 있다면 공급확대만 강조할 것이 아니라 투기를 조장하는 공급 확대책의 전면 재검토를 선언해야 한다. 지금의 땅장사, 집장사 중심의 공급책은 공기업, 건설업계, 투기세력, 공직자의 불로소득을 위한 잔칫상에 불과하며 집값 거품을 조장할 뿐이다. LH 사태로 불거진 “부동산 부패 청산”에 대한 의지가 있다면 현 정부 이후 추진된 개발사업에 대한 토지거래내역 및 보상내역부터 투명하게 공개하고 공직자 투기 의혹에 대해 철저하게 수사해야 한다.

문재인대통령은 이제 1년의 임기를 남겨두고 있다. 대통령이 4년 전 취임 때 국민과 약속한 개혁과제 추진에 대해 일부라도 성과를 내기 위해서는 이번 연설에서 지난 4년간의 국정운영의 공과를 냉철하게 평가·진단하고, 실패한 정책에 대해 어떻게 쇄신할 것인지 구체적인 계획을 제시하길 기대했다. 그러나 여전히 민생과 민심과는 동떨어진 문제인식과 기존 정책 틀을 유지하겠다 발언을 되풀이하는 것은 매우 실망스럽다. 최근 장관 임명 관련 후보자의 도덕성 문제에 대한 대통령의 인식도 마찬가지이다. 과거 실패한 정책과 인사에 집착하여 쇄신 노력을 포기한다면 임기말 레임덕현상은 더욱 가속화되고, 국정운영은 더욱 어려워질 것이다.

 

2021년 05월 11일

경제정의실천시민연합

 

 

첨부파일 : 20210511_경실련_대통령취임4주년연설 논평.hwp

첨부파일 : 20210511_경실련_대통령취임4주년연설 논평.pdf

 

문의 : 경실련 정책국(02-766-5624)

화, 2021/05/11- 23:14
1
0
진실하고 성실한 정치 실현

이 글은 AI 가 수집 요약한 글 입니다..
토, 2026/06/13- 03:16
1
0
총선 D-12/사진=연합뉴스 서울 송파구 거여동 거리에서는 송파병 김을동 후보의 선거 유세에 아들 탤런트 '송일국'씨도 나서 주민들과 인사를 나눴습니다. 총선 D-12/사진=연합뉴스 선거 유세 현장을 지나는 버스를 탄 한...
금, 2016/04/01- 18:07
0
0

국민발안개헌연대, 국민발안 개헌안 의결촉구 국회방문

– 국회는 국민발안 개헌안을 반드시 의결해야 한다. –

1. 경실련을 비롯한 25개 단체는 <국민발안개헌연대>를 발족해 유신헌법 때 폐지됐던 헌법개정 국민발의권을 도입해 그간 정치권의 이해관계로 이뤄지지 못했던 헌법개정의 물꼬를 트기 위한 원포인트 헌법개정 운동을 하고 있습니다.

2. 헌법개정 국민발안개헌안은 대통령 공고기간을 거쳤으나 국회 의결절차 지연으로 아직도 의결이 되지 못하고 있습니다. 국회의원 148명의 정식 발의로 지난 3월 11일 공고되어 20일 간의 공고기간을 마쳤으나 유감스럽게도 한 달 가까이 개헌안이 방치되고 있습니다.

3. 헌법개정절차 규정에 따르면 국회는 대통령 공고 후 60일 이내에 개헌안을 처리해야 합니다. 늦어도 오는 5월 10일까지는 이번 개헌안을 반드시 처리해야 하며, 재적 3분의 2이상이 찬성할 경우 국민투표에 회부해야 합니다.

4. 이에 <국민발안개헌연대>는 오늘 국민발안 개헌안 의결을 촉구하는 입장을 전달하고자 국회를 방문한다. 오늘 오후 1시 45분 국회의장 면담과, 더불어민주당 및 미래통합당 원내대표 방문 이후, 오후 2시 30분 정론관에서 기자회견을 가질 예정입니다.
* 개헌연대, 국회 방문 및 입장 전달
국회의장(1시 45분)
더불어민주당 및 미래통합당 원내대표방문
정론관 기자회견(2시30분)

5. 기자님들의 많은 관심과 보도를 요청 드립니다.

기자회견문은 첨부파일을 참고하시기 바랍니다.

(최종)성명_20대 국회는 국민발안 개헌안을 반드시 의결해야한다_2020 05 06

수, 2020/05/06- 22:19
0
0