여론조사는 얼마나 정확한 것일까? 뉴스타파는 2014년 지방선거부터 2016년 총선까지 국내 여론조사기관들이 내놓은 선거 예측이 얼마나 정확했는지 분석했다. 그 결과 조사오차가 평균 9.6%p에 이르렀고 전체 중 36%의 조사는 당선을 맞추지 못하는 수준이었다.

여론조사 얼마나 정확하게 예측했나?

여론조사기관 ‘예측정확성’ 분석(수정오차 기준)

순위	조사기관명	조사 건수	당선자예측 성공률	단순 오차	수정 오차
1	한국CNR/케이엠조사연구소	7	71%	5.12	-6.61
2	현대리서치연구소	9	67%	3.94	-5.02
3	케이엠조사연구소	38	66%	5.85	-3.51
4	순천투데이(전남리서치연구소)	5	80%	6.10	-3.45
5	에이스리서치	10	70%	5.20	-2.85
6	폴스미스	14	79%	6.91	-2.59
7	중앙일보 조사연구팀/엠브레인	25	72%	8.84	-2.15
8	아이디인큐(오픈서베이)	9	33%	5.75	-1.82
9	한길리서치센타	75	65%	7.73	-1.70
10	한국CNR	11	73%	8.81	-1.69
11	큐리서치	5	60%	6.69	-1.69
12	한국리서치	60	65%	7.86	-1.52
13	마크로밀엠브레인	101	67%	8.46	-1.40
14	TNS KOREA	37	68%	8.13	-0.89
15	모노리서치	51	73%	8.69	-0.67
16	강원도민일보 부설 강원사회조사연구소	5	80%	7.94	-0.63
17	밀워드브라운미디어리서치	97	72%	8.80	-0.62
18	포커스컴퍼니	27	56%	9.27	-0.57
19	리서치앤리서치	126	58%	9.07	-0.23
20	중앙일보 조사연구팀	41	61%	9.42	0.15
21	조원씨앤아이	36	75%	9.73	0.18
22	유앤미리서치	18	67%	9.96	0.18
23	리얼미터	296	60%	9.77	0.19
24	휴먼리서치	13	62%	9.89	0.31
25	메트릭스코퍼레이션	8	50%	8.23	0.32
26	코리아리서치센터	130	62%	10.53	0.48
27	여민리서치컨설팅	20	50%	11.07	0.93
28	한국갤럽조사연구소	51	71%	10.65	1.05
29	비전코리아	5	60%	10.34	1.26
30	리서치플러스	31	61%	10.26	1.54
31	한국인텔리서치	11	73%	11.06	1.67
32	충청한길리서치	10	70%	12.08	1.82
33	대구한길리서치	7	71%	11.12	1.94
34	리서치뷰	21	62%	11.47	2.40
35	케이에스리서치	5	40%	11.42	2.86
36	폴리컴	5	80%	14.56	3.45
37	윈스리서치	19	68%	13.35	3.69
38	윈폴(WINPOLL)	15	53%	15.50	5.39
39	한백리서치연구소	6	33%	14.42	5.85
40	경기동부신문	5	60%	16.35	6.18
41	한국사회여론연구소(KSOI)	18	56%	17.31	6.68
42	좋은날리서치	5	100%	19.19	8.98
총합계		1,557	64%	9.55	0.00

▲ 분석대상과 기간: 2014년 지방선거 ~ 2016년 총선 사이 선거 예측조사

전체 분석대상 여론조사 1,557건의 단순오차는 평균 9.55%p로 나타났다. 즉, 여론조사들이 선거에서 1위와 2위 후보의 득표율 차이를 평균 9.55%p 잘못 예측한 것이다. 선거별로 단순오차를 보면 2014년 지방선거는 8.5%p, 2016년 총선은 10.6%p였다. 선거구가 작아질 수록 오차는 더 커지는 것으로 나타났다.

선거유형	조사 건수	단순오차
광역단체장	239	7.89
교육감	145	8.35
기초단체장	336	9.08
국회의원	837	10.41
총합계	1,557	9.55

1,557건의 여론조사 중 당선자 예측에 성공한 조사는 996건으로 예측 성공률은 64%였다. 36%인 561건은 당선자를 예측하는 데 실패했다. 당선자 예측에 실패한 조사의 단순오차는 평균 13.65%p로 나타났는데, 이는 당선자를 예측한 조사의 단순오차인 7.23%p보다 두 배 가까이 높은 수치다.

당선자 예측 여부	조사 건수	단순오차
성공	996	7.23
실패	561	13.65
총합계	1,557	9.55

단순오차를 기준으로 여론조사기관을 평가하는 데는 한계가 있다. 조사기관의 책임으로 볼 수 없는 요인들이 오차를 초래했을 수 있기 때문이다. 뉴스타파는 회귀분석을 통해 조사시점, 표본크기, 선거유형이 미치는 영향을 통제한 뒤 새로운 오차, 즉 수정오차를 계산했다. 수정된 오차를 기준으로 여론조사기관의 예측정확성 순위를 평가한 결과 메이저 여론조사기관이 중위권에 머물러서 회사규모가 크거나 전통이 있다고 더 정확한 것은 아닌 것으로 나타났다. 조사 건수가 296건으로 가장 많았던 리얼미터의 예측정확성 순위는 중위권인 23위였다. 오랜 전통을 가진 한국갤럽은 이보다 낮은 28위였다. 2015년 기준 리서치업계 매출액 1위인 칸타코리아의 전신인 TNS코리아와 미디어리서치는 각각 14위와 17위로 나타났다. 매출액 2위 한국리서치는 이보다 조금 높은 12위였다.

예측정확성 순위와 조사방법 사이의 관계도 살펴봤다. 유선전화 표집 여부와 자동응답시스템(ARS) 사용 여부에 따라 조사기관을 네 그룹으로 나눴다. 대부분의 조사를 유선전화를 대상으로 ARS만을 써서 조사하는 회사는 13곳이었는데, 예측정확도 순위가 가장 낮은 기관 10곳 중 6곳이 이 그룹에 속했다. 한편, 무선전화를 혼합해서 조사하는 비중이 상대적으로 높고, 전화면접 비중이 높은 회사는 18곳이었다. 예측이 가장 정확한 회사 10곳 중 6곳이 이 그룹에 속했다.

어떻게 분석했나?

1.오차란?

선거 여론조사가 실제 선거 결과를 얼마나 정확하게 예측했는지는 예측값과 참값의 차이로 평가할 수 있다. 여기서 예측값은 조사기관이 내놓은 지지율이 되고 참값은 실제 투표에서 얻은 득표율이 된다.

조사오차 = 예측값(여론조사 지지율) – 참값(선거 득표율)

2. 데이터 수집

지지율, 즉 여론조사기관들의 선거예측 데이터는 중앙선거여론조사심의위원회(여심위) 홈페이지에서 수집했다. 2014년 3월 여론조사 결과 등록 제도가 시행된 이후 2017년 4월 16일 현재까지 여심위 홈페이지에 등록된 조사건수는 3,396개였다. 이 가운데 선거일로부터 4주 이내에 조사된 여론조사는 모두 1,557건이었다. 여심위 홈페이지의 첨부파일을 열어 일일이 확인하는 수작업을 거쳤다. 득표율, 즉 실제 투표에서 각 후보가 얻은 득표율 데이터는 중앙선거관리위원회가 관리하는 선거통계시스템에서 가져왔다.

선거명	조사 건수
제6회 전국동시지방선거	705
2014년 상반기 재·보궐선거	54
2015년 상반기 재·보궐선거	26
제20대 국회의원선거	757
2016년 재·보궐선거	15
총합계	1,557

3. 단순오차

개별 후보들의 지지율과 득표율을 바로 비교하기는 어렵다. 여론조사에서는 ‘지지후보가 없다’는 등의 무응답이 있지만 실제 투표에서는 없기 때문이다. 이같은 문제를 해결하기 위해 학계에서는 후보간 지지율의 차이를 예측값으로, 같은 후보간의 득표율 차이를 참값으로 보고 그 차이를 계산해 여론조사의 정확성을 평가하는 경향이 있다. 뉴스타파는 선거에서 당선자와 2위 후보의 득표율 차이와 같은 후보들의 여론조사에서의 지지율 차이를 비교해 오차를 계산했다.

단순오차 = (선거 1, 2위 후보간 득표율 차이) – (여론조사 동일 후보 지지율 차이)

4. 수정오차

단순오차를 기준으로 여론조사기관을 평가하는 데는 한계가 있다. 여론조사기관의 책임으로 볼 수 없는 요인들이 오차를 초래했을 수 있기 때문이다. 대표적으로 고려되는 요인이 바로 조사가 이뤄진 시점이다. 선거일에 가까운 조사일수록 더 정확할 가능성이 높다. 또 선거 유형과 표본크기도 오차에 영향을 미치는 요인으로 알려져 있지만 조사기관의 책임으로 볼 수 없는 요인들이었다. 뉴스타파는 이 세 가지 요인이 오차에 미치는 영향을 통제하기 위해 회귀분석을 수행하고, 각 조사별로 잔차 값을 계산하는 방식으로 ‘수정오차’를 계산했다.

회귀분석의 종속변인으로는 ‘단순오차’, 독립변인으로는 조사일과 선거일 사이의 거리, 표본크기, 선거 유형이 사용됐다. 미국의 여론조사전문매체인 파이브서티에이트(FiveThirtyEight)이 적용해 공신력을 인정받은 방식이다. 조사업계와 학계에서 사용되는 다른 지표들과 비교한 결과 타당성에 문제가 없다고 판단했다.

※분석 결과에 이견이 있거나 개선사항을 제안하고 싶은 경우, 최문호([email protected]) / 김강민([email protected])에게 연락바랍니다.

---

취재: 최문호, 김강민, 최윤원, 연다혜
촬영: 김남범, 최형석
편집: 이선영
자료 입력: 김현우, 이수련

좋은 민주주의는 좋은 대표를 필요로 한다. 적어도 대의민주주의에서는 그렇다. 좋은 대표를 어떻게 뽑느냐에 대해 인류는 오랫동안 다양한 실험을 해왔다. 최종적으로 선택된 것은 민주적 선거다. 이 제도에서는 대표자를 뽑되, 이 대표자가 유권자들의 이익과 의견에 상반되는 행위를 계속할 경우 그를 탄핵하거나 다음 선거에서 갈아치울 수 있다. 이것이 현대 대의민주주의의 핵심 가치다.

정책과 입법보다 지역 민원

그런데 여기에도 한계가 있다. 선출된 대표자에 대한 견제는 대부분 형식적이고 실효성이 없다. 탄핵은 상당히 어렵다. 다음 선거에서 벌을 주는 것만으로는 시간이 너무 늦거나 징벌이 충분하지 않다. 가장 큰 문제는 다음 대표자도 역시 비슷한 사람이 되는 경우다. 이것이 지금 한국 정치에서 가장 큰 문제다.

국회에 대한 국민의 신뢰도는 형편없다. 19대 국회에서 형사처분으로 의원직을 잃은 사람이 17명이고, 현재 재판 중인 의원도 17명에 달한다. 내용을 들여다보면 더 문제다. 불법 정치자금 수수, 입법 로비, 성폭행, 자식의 취업 청탁 등 비리의 종합선물세트다.

현재 성폭행 혐의를 받고 있는 심학봉 의원은 도덕성과 직무능력이 별개라면서 일을 잘하면 된다고 주장한다. 그렇다면 국회 본연의 일은 잘하고 있는 것일까? 총선을 앞두고 열린 국정감사는 행정부에 대한 감시보다 정쟁에 초점이 맞춰져 있다. 사실 지금 국회의원들의 마음은 국정감사보다는 지역구에 가 있을 것이다. 다시 당선되는 것이 더 중요하기 때문이다.

정치를 잘하면 다시 당선되지 않을까? 엄밀히 말하면 별 상관이 없다. 여기에 한국 정치의 함정이 있다. 내년 총선을 앞두고 여야는 모두 국민에게 정치를 돌려준다는 명분으로 국민이 참여하는 공천 방식을 제시했다. 새누리당은 오픈프라이머리를, 새정치민주연합 혁신위원회는 100% 국민경선을 도입한다고 한다. 국민에게 공천권을 돌려주면 과연 정치가 좋아질까? 그렇지 않을 가능성이 높다.

지금도 의원들이 가장 많은 시간을 할애하는 것은 지역구 관리다. 재선을 결정하는 것은 정책과 입법이 아니라 지역 민원을 얼마나 잘 해결하느냐, 지역 예산을 얼마나 잘 따오느냐에 달렸다. 총선에서 유권자들이 보는 공보물도 대부분 이 내용으로 채워진다. 정치적 비전과 한국 사회에 대한 비판적 통찰은 중요하지 않다. 일단 지역구 활동을 잘해야 입법 활동도 눈에 들어온다. 후자만 강조해서는 “뽑아놨더니 자기 잘난 척만 하고, 동네에는 코빼기도 안 비친다”는 평을 듣기 십상이다.

현역들이 지역구에 ‘올인’한다고 하면, 새로운 인물들은 어떤가? 이번 19대 국회에서도 적지 않은 인적 교체가 이뤄졌다. 새누리당과 새정치연합을 합쳐 90명의 비정치권 외부 인사가 공천됐다. 초선 의원 비율도 56%에 달했다. 그래도 국회에 대한 평가가 달라질 기미는 보이지 않는다.

정치 신인·소수 정당을 더 많이 국회로

정치 신인들의 당락은 정치적 능력보다는 학력과 경력에 크게 좌우된다. 새누리당 공천에 관여했던 사람은 “정치를 잘할 수 있는 사람이 있어도 총선에서 떨어질 것 같아 공천을 못 받는 경우가 있고, 정치를 잘할지는 모르겠지만 스펙이 좋고 전문성이 있어 공천을 한 경우가 있다”고 실토한다. 새정치연합의 한 의원은 “정치를 해보니 오히려 중요한 것은 전문성이 아니라 소통 능력”이라고 속내를 털어놓았다. 하지만 이런 기준이 공천에 반영될 가능성은 적다. 이것이 우리 정치의 현재다.

문제는 앞으로도 개선될 여지가 보이지 않는다는 데 있다. 선거를 통한 대의민주주의의의 장점은 좋은 대표를 뽑고 나쁜 대표를 솎아내는 것이다. 그런데 지금 한국 정치에서는 20대 총선을 치러서 더 나은 국회가 될 가능성이 별로 없다. 새로 물갈이를 해도, 비정치인이 들어가도, 결과는 거의 같을 것이다. 암담하다.

선거제도를 바꿔야 한다는 주장이 있다. 비례대표를 늘려 지역구 선거의 영향을 덜 받는 괜찮은 정치 신인을 많이 받아들여야 한다는 것이다. 또 두 거대 정당의 틈바구니 속에서 제대로 대표되고 있지 않은 계층, 세대, 사회적 문제를 제대로 반영할 수 있는 소수 정당과 정치인들이 나와야 한다는 것이다. 맞다.

그런데 어렵다. 비례대표를 늘리려면 의원 정수를 늘리거나 지역구 의원 수를 줄여야 한다. 의원 정수 확대는 다수의 국민들이 반대한다. 많은 정치학자나 시민사회에서는 국회의원을 늘리는 것이 바람직하다고 주장하지만, 현실의 벽은 실로 높다. 그렇다면 지역구 의원 수를 줄이는 것은 가능할까? 선거법 개정이 국회의원들의 손에 달려 있는 한, 토끼 머리에 뿔이 날 때쯤에 일어날 일이다.

결국 답은 하나다. 시민이 좋은 대표를 뽑는 수밖에 없다. 어쩌면 이것이야말로 우리가 간과하고 있었던 대의민주주의의 가장 중요한 덕목이다. 그런데 좋은 대표는 그냥 뽑히지 않는다. 참여민주주의만큼이나 선거에 적극적으로 참여하는 시민이 필요하다. 투표를 열심히 한다는 것과는 다르다. 비슷비슷하게 나쁜 후보들을 놓고 투표를 한다는 것이 얼마나 무의미한가? 그럼 어떻게 해야 할까?

시민이 공천 과정에서부터 개입해야 한다. 좋은 후보를 공천하고 나쁜 후보를 공천하지 말라고 정당에 요구해야 한다. 한국 시민사회는 이미 그렇게 해본 경험이 있다. 2000년 총선에서 일단 나쁜 후보를 걸러내려는 시도가 있었다. 주로 도덕성을 중심으로 88명의 부적격 명단을 발표했다. 이 중 59명(67%)이 공천받지 못했다. 부적격 명단 중에 공천된 후보를 대상으로는 낙선운동을 벌여 15명(68%)을 낙선시켰다. 수도권에서는 20명의 낙선 대상 중에서 1명만이 당선될 수 있었다.

1987년 민주화를 기점으로 보면 13년 만에 시민사회가 그만큼 성장해서 ‘정치의 꽃’이라 불리는 선거에서 처음 제 목소리를 낸 것이다. 그로부터 다시 15년이 지났다. 총선시민연대에 참여했던 많은 사람들이 지금 정치권으로 들어갔다. 시민사회는 오히려 더 위축된 것처럼 보인다.

이야기합시다, 바로 지금

바로 지금이 시민의 정치 참여가 질적으로 한 단계 올라설 때다. 시민들이 직접 공천과 선거에 개입해야 한다. ‘나쁜 후보 걸러내기’라는 부정적·소극적 시도를 넘어서, 좋은 후보란 어떤 후보인지 기준을 제시하고, 그런 후보를 공천해달라는 긍정적·적극적 주장을 펼쳐야 한다.

이것이야말로 선거의 진짜 의미다. 여론조사를 통해 이뤄지는 아래로부터의 공천은 선거에 대한 많은 역사적 탐구를 볼 때 요식행위에 불과하다. 선거의 진짜 효용은 출마한 후보자들 중 누가 좋은 대표인지, 그 기준은 무엇인지에 대해 시민들이 모여 토론함으로써 스스로 정치의식을 고양시키는 데 있다. 이것이 민주주의가 가진 진짜 힘이다. 선거가 비슷비슷한 나쁜 사람들을 계속 재생산하는 제도라면 이것을 민주주의라고 부를 수 있을까?

선거를 앞두고 벌어지는 ‘시민들의 토론, 좋은 대표에 대한 비전 제시, 정당에 대한 요구, 자기 성찰’이야말로 선거를 통해 정치가 나아질 수 있는 유일한 가능성이다. 단기적 이익을 좇는 사람들의 선호는 공적 대화를 통해 변화할 수 있다. 지역구에 예산을 따오는 후보, 동네 산악회에 와서 머리 한 번 더 숙이는 후보, 학력이 좋고 인물이 훤한 후보가 아니라, 좋은 입법과 좋은 정치를 하는 후보를 어떻게 고를지, 그리고 그런 후보를 어떻게 정당에 요구할지를 이야기할 때다. 바로 지금.

글_이관후 (연구조정위원 / [email protected])

* 이 글은 2015년 9월 23일자 한겨레21에 함께 실렸습니다. 기사보기

*희망제작소는

 

디플로마트, 한국과 일본은 해빙기를 맞는가?– 한일 양국의 진정한 동맹은 구조적 문제 해결과 국민들의 인식 변화를 필요로해– 위안부 문제, 한국은 진심 어린 사과와 보상 요구…일본은 모든 것 마무리 돼– 양국의 우익 성향과 극단주의자들에 대한 대응 실패 등의 구조적 문제 해결해야디플로마트는 5일 ‘한국과 일본은 해빙기를 맞는가?’ 라는 제목의 기사에서 한일 두 나라가 진정한 동맹 관계를 맺기 위해서는 ...