여론조사는 얼마나 정확한 것일까? 뉴스타파는 2014년 지방선거부터 2016년 총선까지 국내 여론조사기관들이 내놓은 선거 예측이 얼마나 정확했는지 분석했다. 그 결과 조사오차가 평균 9.6%p에 이르렀고 전체 중 36%의 조사는 당선을 맞추지 못하는 수준이었다.

여론조사 얼마나 정확하게 예측했나?

여론조사기관 ‘예측정확성’ 분석(수정오차 기준)

▲ 분석대상과 기간: 2014년 지방선거 ~ 2016년 총선 사이 선거 예측조사

전체 분석대상 여론조사 1,557건의 단순오차는 평균 9.55%p로 나타났다. 즉, 여론조사들이 선거에서 1위와 2위 후보의 득표율 차이를 평균 9.55%p 잘못 예측한 것이다. 선거별로 단순오차를 보면 2014년 지방선거는 8.5%p, 2016년 총선은 10.6%p였다. 선거구가 작아질 수록 오차는 더 커지는 것으로 나타났다.

1,557건의 여론조사 중 당선자 예측에 성공한 조사는 996건으로 예측 성공률은 64%였다. 36%인 561건은 당선자를 예측하는 데 실패했다. 당선자 예측에 실패한 조사의 단순오차는 평균 13.65%p로 나타났는데, 이는 당선자를 예측한 조사의 단순오차인 7.23%p보다 두 배 가까이 높은 수치다.

단순오차를 기준으로 여론조사기관을 평가하는 데는 한계가 있다. 조사기관의 책임으로 볼 수 없는 요인들이 오차를 초래했을 수 있기 때문이다. 뉴스타파는 회귀분석을 통해 조사시점, 표본크기, 선거유형이 미치는 영향을 통제한 뒤 새로운 오차, 즉 수정오차를 계산했다. 수정된 오차를 기준으로 여론조사기관의 예측정확성 순위를 평가한 결과 메이저 여론조사기관이 중위권에 머물러서 회사규모가 크거나 전통이 있다고 더 정확한 것은 아닌 것으로 나타났다. 조사 건수가 296건으로 가장 많았던 리얼미터의 예측정확성 순위는 중위권인 23위였다. 오랜 전통을 가진 한국갤럽은 이보다 낮은 28위였다. 2015년 기준 리서치업계 매출액 1위인 칸타코리아의 전신인 TNS코리아와 미디어리서치는 각각 14위와 17위로 나타났다. 매출액 2위 한국리서치는 이보다 조금 높은 12위였다.

예측정확성 순위와 조사방법 사이의 관계도 살펴봤다. 유선전화 표집 여부와 자동응답시스템(ARS) 사용 여부에 따라 조사기관을 네 그룹으로 나눴다. 대부분의 조사를 유선전화를 대상으로 ARS만을 써서 조사하는 회사는 13곳이었는데, 예측정확도 순위가 가장 낮은 기관 10곳 중 6곳이 이 그룹에 속했다. 한편, 무선전화를 혼합해서 조사하는 비중이 상대적으로 높고, 전화면접 비중이 높은 회사는 18곳이었다. 예측이 가장 정확한 회사 10곳 중 6곳이 이 그룹에 속했다.

어떻게 분석했나?

1.오차란?

선거 여론조사가 실제 선거 결과를 얼마나 정확하게 예측했는지는 예측값과 참값의 차이로 평가할 수 있다. 여기서 예측값은 조사기관이 내놓은 지지율이 되고 참값은 실제 투표에서 얻은 득표율이 된다.

2. 데이터 수집

지지율, 즉 여론조사기관들의 선거예측 데이터는 중앙선거여론조사심의위원회(여심위) 홈페이지에서 수집했다. 2014년 3월 여론조사 결과 등록 제도가 시행된 이후 2017년 4월 16일 현재까지 여심위 홈페이지에 등록된 조사건수는 3,396개였다. 이 가운데 선거일로부터 4주 이내에 조사된 여론조사는 모두 1,557건이었다. 여심위 홈페이지의 첨부파일을 열어 일일이 확인하는 수작업을 거쳤다. 득표율, 즉 실제 투표에서 각 후보가 얻은 득표율 데이터는 중앙선거관리위원회가 관리하는 선거통계시스템에서 가져왔다.

3. 단순오차

개별 후보들의 지지율과 득표율을 바로 비교하기는 어렵다. 여론조사에서는 ‘지지후보가 없다’는 등의 무응답이 있지만 실제 투표에서는 없기 때문이다. 이같은 문제를 해결하기 위해 학계에서는 후보간 지지율의 차이를 예측값으로, 같은 후보간의 득표율 차이를 참값으로 보고 그 차이를 계산해 여론조사의 정확성을 평가하는 경향이 있다. 뉴스타파는 선거에서 당선자와 2위 후보의 득표율 차이와 같은 후보들의 여론조사에서의 지지율 차이를 비교해 오차를 계산했다.

4. 수정오차

단순오차를 기준으로 여론조사기관을 평가하는 데는 한계가 있다. 여론조사기관의 책임으로 볼 수 없는 요인들이 오차를 초래했을 수 있기 때문이다. 대표적으로 고려되는 요인이 바로 조사가 이뤄진 시점이다. 선거일에 가까운 조사일수록 더 정확할 가능성이 높다. 또 선거 유형과 표본크기도 오차에 영향을 미치는 요인으로 알려져 있지만 조사기관의 책임으로 볼 수 없는 요인들이었다. 뉴스타파는 이 세 가지 요인이 오차에 미치는 영향을 통제하기 위해 회귀분석을 수행하고, 각 조사별로 잔차 값을 계산하는 방식으로 ‘수정오차’를 계산했다.

회귀분석의 종속변인으로는 ‘단순오차’, 독립변인으로는 조사일과 선거일 사이의 거리, 표본크기, 선거 유형이 사용됐다. 미국의 여론조사전문매체인 파이브서티에이트(FiveThirtyEight)이 적용해 공신력을 인정받은 방식이다. 조사업계와 학계에서 사용되는 다른 지표들과 비교한 결과 타당성에 문제가 없다고 판단했다.

※분석 결과에 이견이 있거나 개선사항을 제안하고 싶은 경우, 최문호([email protected]) / 김강민([email protected])에게 연락바랍니다.

취재: 최문호, 김강민, 최윤원, 연다혜
촬영: 김남범, 최형석
편집: 이선영
자료 입력: 김현우, 이수련

지난 4월 개봉한 영화 <더 플랜>은 흥미로우면서도 매우 논쟁적인 주제를 담았다. 2012년 18대 대선에서 개표가 누군가에 의해 조작됐다는 것이다.

개표부정 의혹은 18대 대선이 끝난 이후 계속 제기돼 왔지만 그동안 제기됐던 개표부정 의혹과는 차원이 달랐다.

통계학자들이 등장해 각종 데이터를 분석한 결과를 보여주면서 조작이 아니면 설명할 수 없는 확실한 증거인 것처럼 이야기했다.

대통령 선거에서 개표조작이 있었다면 이는 국기문란이자 민주주의 파괴 행위다. 그럼에도 의혹은 정리되지 않은채 증폭됐다.

19대 대선이 끝나고 개표부정 논란은 잦아들었다. 그러나 앞으로의 대통령 선거에서 근소한 표차이로 당락이 결정되는 결과가 나온다면 개표부정이란 불씨는 또 같은 논리를 가지고 살아날 가능성이 높다.

뉴스타파는 그동안 제기된 개표부정 의혹을 풀어보기 위해 통계학자들에게 대선 데이터 분석을 의뢰하고 선관위 관계자들과 시민단체, 그리고 개표현장을 취재하며 하나하나 검증했다.

다음은 주요 내용을 정리한 것이다.

K값 1.5는 충분히 가능…미분류율의 차이가 K값 결정

영화 <더플랜>에서는 분류표에서의 후보간 득표율과 미분류표에서의 후보간 득표율이 같아야 한다고 주장했다. 이른바 K값이라고 설정한 이 비율이 1이 나와야 정상이라는 것이다.

18대 대선에서는 251개 선거구별 박근혜 후보와 문재인 후보간 K값 평균이 1.5였다. 사람이 개입하지 않고서는 나올 수 없는 결과라는 설명이 뒤따랐다.

19대 대선에서 문재인 후보와 홍준표 후보간의 K값은 1.60이 나왔다. 문재인-안철수 사이의 K값은 1.24가 나왔다.

※관련기사 : 19대 대선 문-홍 K값은 1.6…정규분포

이같은 현상에 대해 뉴스타파는 통계학을 연구하는 고려대의 박유성, 최보승 교수와 경기대의 이동희 교수에게 분석을 외뢰하고 자문을 구했다.

교수 3명 모두 K값이 1.5나 1.6이 나오는 것이 이상한 일이 아니라고 말했다. 후보마다 미분류율 차이가 있기 때문에 당연하다는 것이다.

18대 대선에서 박근혜 후보는 거의 모든 선거구에서 문재인 후보보다 미분류율이 높았다.

▲ 18대 대선에서의 후보별 미분류율. 일정한 비율을 그리며 거의 대부분 선거구에서 박근혜 후보의 미분류율이 문재인 후보보다 높게 나타난다.

큰 미분류율을 작은 미분류로 나누면 1보다 큰 K값이 나온다.

19대 대선 때도 마찬가지로 후보간 미분류율에 차이가 있다.

▲ 19대 대선 후보별 미분류율. 홍준표-안철수-문재인-유승민-심상정 순이다.

후보별로 미분류율이 같다면 K값이 1이 나오지만, 미분류율이 다르면 K값은 1이 아닌 숫자가 나온다.

그런데 미분류율이 서로 다르게 나오는 것은 전혀 이상한 일이 아니다. 후보자 별로 지지집단의 인구학적 특성이 다르기 때문이다. 18대와 19대 모두 보수 후보의 미분류율이 진보 후보보다 높게 나타난 것을 확인할 수 있다. 후보마다 이처럼 미분류율의 차이가 무엇 때문에 발생하는 것인지 18대 대선 데이터로 확인했다. 18대는 선거구별로 연령별 투표율 자료가 수집돼 있다.

▲ 18대 대선 다중회귀분석 결과 박근혜-문재인 미분류 차이에 영향을 미치는 요인이 확인됐다.

그 결과 보수에 대한 지지가 높은 곳일수록, 60대 이상 투표자가 많은 곳일수록 박근혜 후보와 문재인 후보의 미분류 차이가 커지는 것으로 나타났다. 20-30대 투표자가 많은 선거구에서는 미분류 차이가 줄어드는 것으로 나타났다.

이같은 분석 결과에 의하면 18대 대선 K값이 경상도에서 상대적으로 타지역보다 크고(경북1.65 경남1.83), 전라도에서 상대적으로 낮아지는 (전북 1.31 전남 1.34)이유가 설명된다.

60대 이상 투표자의 비중도 미분류율에 영향을 주지만 정치적인 성향도 영향을 준다는 것이다.

<정규분포>와 <출구조사 결과>는 조작이 없었다는 증거

뉴스타파와 인터뷰한 3명의 통계학과 교수는 18대 대선 때의 K값이 정규분포로 나타난 것은 조작의 증거가 아니라 오히려 조작이 없었다는 것을 보여주는 것이라고 해석했다.

또 18대와 19대 때 발표된 지상파3사 공동출구조사 결과는 최종 결과가 거의 일치했다면서 이 역시 개표조작설로는 설명할 수 없는 것이라는 입장을 내놨다.

19대는 미분류율이 낮은 후보가 당선…18대와 다르다.

취재과정에서 영화 <더플랜>에 출연했던 현화신 캐나다 퀸즈대 교수와 전희경 미 조지아서던대 교수는 뉴스타파의 질의에 “18대는 미분류율이 높았던 후보가 당선된 선거이고 19대는 미분류율이 낮은 후보가 당선된 선거”이므로 같다고 볼수는 없다고 밝혔다.

반면 출연자 중 한 명인 김재광 미 아이오와 주립대 통계학과 교수는 “19대 대선에서도 18대와 비슷한 K값이 나왔으므로 <더플랜>측이 지나친 의혹을 제기한 셈이 됐다”고 말했다.

※뉴스타파는 선관위로부터 입수한 19대 대선 전체 득표 데이터를 제공하고 통계 분석자료도 공개한다.

취재:최기훈, 김강민
촬영:정형민, 최형석, 김남범, 신영철, 오준식
그래픽:정동우
편집:정지성

관련 내용 아래 참여연대 보도자료 요약 및 참조.

삼성전자 이재용 부회장·박상진 사장·박근혜 대통령·최순실

<뇌물공여죄·업무상배임·뇌물수수죄 혐의 고발 기자회견>

– 삼성물산-제일모직 합병과 국민연금, 최순실 모녀에 대한 삼성의 자금 지원, 삼성생명공익재단의 삼성물산 주식 취득 등 모두 이재용의 경영권 세습과 연관되어 있어

– 삼성물산-제일모직 합병은 국민연금 가입자의 손해로 귀결, 이재용의 이익을 위한 정경유착과 그로 인해 발생한 피해는 국민에게 전가

– 삼성과 최고위층 정치권력 간의 거래의 정황, ‘뇌물죄’로 엄벌해야

일시 및 장소 : 11월 15일(화) 오후 1시, 서울중앙지검 1층 현관 앞

1. 취지와 목적

– 오늘(11/15) 공적연금강화국민행동, 민주노총, 참여연대는 이재용 삼성전자 부회장, 박상진 삼성전자 사장, 박근혜 대통령, 최순실씨를 뇌물공여죄 또는 제3자뇌물공여죄, 특정경제범죄가중처벌등에관한법률(업무상배임) 위반, 뇌물수수죄 등으로 고발함.

– 이미 두 차례의 고발을 진행하였으나, 최근 다수의 언론과 검찰수사를 통해, 이재용 삼성전자 부회장 등이 삼성물산과 제일모직의 합병을 성사시키기 위하여, 국민연금의 합병 찬성을 이끌어내기 위해, 박근혜 대통령과 그 최측근인 최순실씨에게 뇌물을 제공한 의혹과 정황이 드러나고 있음.

※ 이전 고발 내용

– 2016.6.16.(목) 공적연금강화국민행동, 민주노총, 참여연대는 이재용, 이부진, 이서현 등 삼성그룹 총수일가, 구 삼성물산(주) 경영진과 국민연금공단 기금이사(기금운용본부장)를 삼성물산과 제일모직 간의 합병과 관련하여 배임·주가조작의 혐의로 고발함.

– 2016.11.4.(금) 참여연대는 박근혜 대통령, 최순실, 안종범 전 경제수석 등을 재벌대기업이 미르재단과 K스포츠재단에 출연한 것과 관련하여 뇌물죄, 제3자뇌물공여죄 등으로 고발함.

2. 개요

○ 제목: 삼성전자 이재용 부회장·박상진 사장·박근혜 대통령·최순실 <뇌물공여죄·업무상배임·뇌물수수죄 혐의 고발 기자회견>

○ 일시·장소: 2016년 11월 15일(화) 오후1시, 서울중앙지검 1층 현관 앞

○ 주최: 공적연금강화국민행동, 민주노총, 참여연대

○ 참가자

  – 사회 : 안진걸 참여연대 공동사무처장

– 발언1: 김남근 변호사(민주사회를위한변호사모임 부회장)

  – 발언2: 김성진 변호사(참여연대 집행위원장)

  – 발언3: 정용건 공적연금강화 국민행동 집행위원장

  – 발언4: 정혜경 민주노총 부위원장

  – 발언5: 김종보 변호사

첨부 1> 보도자료

첨부 2> 고발장