뉴스타파는 지난 두 달 동안 19대와 20대 국회의원의 정책 자료집 2천 6백여 건을 분석했다. 조사는 우선 20대 현직 의원을 중심으로 진행했다. 그 결과 정부 보도자료나 다른기관의 보고서 등을 베껴 정책자료집을 만든 현직 국회의원은 25명으로 확인됐다. 이들이 발간한 표절 정책자료집은 모두 35건이었다.

※ 현역의원 25명 전체 명단과 내역 보기

이번 조사와 분석은 국회도서관에서 확인 가능한 정책자료집을 대상으로 했다. 그러나 20대 국회의원의 경우 국회 도서관에 정책자료집이 등재돼 내용 확인을 할 수 있었던 의원은 191명에 그쳤다. 나머지 의원은 국회도서관에서 정책자료집을 찾을 수 없었다. 이는 의원들이 자신들의 정책자료집을 국회도서관에 제대로 등록해놓지 않았기 때문으로 추정된다. 결국 20대 의원 191명이 낸 1,254건의 정책자료집만을 조사할 수밖에 없었다.

뉴스타파는 이와 함께 표절 정책자료집 발간에 사용한 국회 예산 내역도 일부 확인했다. 자유한국당 안상수, 경대수, 이현재, 윤영석, 함진규 의원 등은 표절 정채자료집의 발간 비용으로 국회 예산을 자료집 1건 당 380만 원에서 890만 원까지 청구해 사용한 것으로 드러났다. 베낀 정책자료집 발간에 국민의 세금이 쓰여진 것이다.

나머지 의원 20여 명도 정책자료집 발간 비용으로 국회 예산을 타 낸 것이 확인됐지만 해당 의원이나 국회 사무처는 세부 내역 공개를 거부하고 있다.

국회의원들이 정책자료집을 만들면서 베낀 원자료를 기관별로 분류했다. 국책연구기관 등 연구기관의 보고서를 베낀 의원이 13명(정책자료집 15건)으로 가장 많았다. 정부가 발주한 연구용역 보고서를 베낀 의원은 7명(정책자료집 7건)으로 집계됐다.

또 정부기관 등이 발표한 보도자료를 베낀 의원도 5명(6건)이었고 학위논문이나 학술지 발표 논문을 베낀 의원은 4명(6건), 언론 기고문 등을 베낀 의원도 1명이었다.

해당 의원들은 다른 기관의 자료를 베끼면서 인용이나 출처 표기는 제대로 하지 않았다. 심지어 원 자료에 ‘출처 표기’를 명시한 문구도 있었지만 일부 의원들은 이를 무시했다. 표절은 물론 저작권 침해 의혹이 제기된다.

실제 저작권을 침해당한 원 저자들은 대부분 자신들의 연구성과가 도용당했다는 사실조차 알지 못했다. 또한 해당 의원실로부터 사전에 허락을 받은 경우는 거의 없었다.

이거는 제가 지금 처음 봐요. 왜냐하면 제가 관련된 보고서 같은 경우는 어지간한 건 제가 한 번씩은 다 보고, 적어도 내용은 안 보더라도 목차는 보고, 어느 보고서가 있다는 존재는 알고 있는데 이건 처음 보는 거 같은데요.

연구보고서 원 저자

뉴스타파는 표절 정책자료집을 만들고 국가예산을 받은 국회의원 25명의 명단을 홈페이지를 통해 공개한다. 또 20대 국회의원들이 발간한 천 2백여 건의 정책자료집 목록도 함께 공개한다. 뉴스타파는 또 19대 전직 의원들의 정책자료집 베끼기 실태에 대한 조사 결과도 앞으로 공개할 예정이다.

※ 20대 의원 191명 정책자료집 목록 보기

---

취재 최윤원, 박중석
촬영 김남범, 오준식
편집 윤석민
CG 정동우
그래픽 하난희
자료조사 정혜원, 김도희

Prime Minister of South Korea Hwang Kyo-Ahn was attacked during a visit to the County Seongju County, located in the province of Gyeongsangbuk-Do, 300 km South-East of Seoul. Local residents threw policy eggs, water bottles.

알자지라, 박근혜 친구때문에 절대위기 직면 – 최순실 라스푸틴과 비교하며 한국 심각한 상황 소개 – 박근혜-최순실 게이트로 레임덕 가중, 현 정부 마비될수도 예측 박근혜와 최순실의 인기가 하늘을 찌르는 가운데 아랍권을 대표하는 방송사인 ‘알자지라’마저 이들의 소식을 전하기 시작했다. 지난 30일 알자지라는 박근혜가 친구인 최순실 때문에 절체절명의 위기상황에 봉착했다고 보도했다. 기사는 “최순실이 박근혜와의 친분을 이용해 삼성과 같은 주요 ...

여론조사는 얼마나 정확한 것일까? 뉴스타파는 2014년 지방선거부터 2016년 총선까지 국내 여론조사기관들이 내놓은 선거 예측이 얼마나 정확했는지 분석했다. 그 결과 조사오차가 평균 9.6%p에 이르렀고 전체 중 36%의 조사는 당선을 맞추지 못하는 수준이었다.

여론조사 얼마나 정확하게 예측했나?

여론조사기관 ‘예측정확성’ 분석(수정오차 기준)

순위	조사기관명	조사 건수	당선자예측 성공률	단순 오차	수정 오차
1	한국CNR/케이엠조사연구소	7	71%	5.12	-6.61
2	현대리서치연구소	9	67%	3.94	-5.02
3	케이엠조사연구소	38	66%	5.85	-3.51
4	순천투데이(전남리서치연구소)	5	80%	6.10	-3.45
5	에이스리서치	10	70%	5.20	-2.85
6	폴스미스	14	79%	6.91	-2.59
7	중앙일보 조사연구팀/엠브레인	25	72%	8.84	-2.15
8	아이디인큐(오픈서베이)	9	33%	5.75	-1.82
9	한길리서치센타	75	65%	7.73	-1.70
10	한국CNR	11	73%	8.81	-1.69
11	큐리서치	5	60%	6.69	-1.69
12	한국리서치	60	65%	7.86	-1.52
13	마크로밀엠브레인	101	67%	8.46	-1.40
14	TNS KOREA	37	68%	8.13	-0.89
15	모노리서치	51	73%	8.69	-0.67
16	강원도민일보 부설 강원사회조사연구소	5	80%	7.94	-0.63
17	밀워드브라운미디어리서치	97	72%	8.80	-0.62
18	포커스컴퍼니	27	56%	9.27	-0.57
19	리서치앤리서치	126	58%	9.07	-0.23
20	중앙일보 조사연구팀	41	61%	9.42	0.15
21	조원씨앤아이	36	75%	9.73	0.18
22	유앤미리서치	18	67%	9.96	0.18
23	리얼미터	296	60%	9.77	0.19
24	휴먼리서치	13	62%	9.89	0.31
25	메트릭스코퍼레이션	8	50%	8.23	0.32
26	코리아리서치센터	130	62%	10.53	0.48
27	여민리서치컨설팅	20	50%	11.07	0.93
28	한국갤럽조사연구소	51	71%	10.65	1.05
29	비전코리아	5	60%	10.34	1.26
30	리서치플러스	31	61%	10.26	1.54
31	한국인텔리서치	11	73%	11.06	1.67
32	충청한길리서치	10	70%	12.08	1.82
33	대구한길리서치	7	71%	11.12	1.94
34	리서치뷰	21	62%	11.47	2.40
35	케이에스리서치	5	40%	11.42	2.86
36	폴리컴	5	80%	14.56	3.45
37	윈스리서치	19	68%	13.35	3.69
38	윈폴(WINPOLL)	15	53%	15.50	5.39
39	한백리서치연구소	6	33%	14.42	5.85
40	경기동부신문	5	60%	16.35	6.18
41	한국사회여론연구소(KSOI)	18	56%	17.31	6.68
42	좋은날리서치	5	100%	19.19	8.98
총합계		1,557	64%	9.55	0.00

▲ 분석대상과 기간: 2014년 지방선거 ~ 2016년 총선 사이 선거 예측조사

전체 분석대상 여론조사 1,557건의 단순오차는 평균 9.55%p로 나타났다. 즉, 여론조사들이 선거에서 1위와 2위 후보의 득표율 차이를 평균 9.55%p 잘못 예측한 것이다. 선거별로 단순오차를 보면 2014년 지방선거는 8.5%p, 2016년 총선은 10.6%p였다. 선거구가 작아질 수록 오차는 더 커지는 것으로 나타났다.

선거유형	조사 건수	단순오차
광역단체장	239	7.89
교육감	145	8.35
기초단체장	336	9.08
국회의원	837	10.41
총합계	1,557	9.55

1,557건의 여론조사 중 당선자 예측에 성공한 조사는 996건으로 예측 성공률은 64%였다. 36%인 561건은 당선자를 예측하는 데 실패했다. 당선자 예측에 실패한 조사의 단순오차는 평균 13.65%p로 나타났는데, 이는 당선자를 예측한 조사의 단순오차인 7.23%p보다 두 배 가까이 높은 수치다.

당선자 예측 여부	조사 건수	단순오차
성공	996	7.23
실패	561	13.65
총합계	1,557	9.55

단순오차를 기준으로 여론조사기관을 평가하는 데는 한계가 있다. 조사기관의 책임으로 볼 수 없는 요인들이 오차를 초래했을 수 있기 때문이다. 뉴스타파는 회귀분석을 통해 조사시점, 표본크기, 선거유형이 미치는 영향을 통제한 뒤 새로운 오차, 즉 수정오차를 계산했다. 수정된 오차를 기준으로 여론조사기관의 예측정확성 순위를 평가한 결과 메이저 여론조사기관이 중위권에 머물러서 회사규모가 크거나 전통이 있다고 더 정확한 것은 아닌 것으로 나타났다. 조사 건수가 296건으로 가장 많았던 리얼미터의 예측정확성 순위는 중위권인 23위였다. 오랜 전통을 가진 한국갤럽은 이보다 낮은 28위였다. 2015년 기준 리서치업계 매출액 1위인 칸타코리아의 전신인 TNS코리아와 미디어리서치는 각각 14위와 17위로 나타났다. 매출액 2위 한국리서치는 이보다 조금 높은 12위였다.

예측정확성 순위와 조사방법 사이의 관계도 살펴봤다. 유선전화 표집 여부와 자동응답시스템(ARS) 사용 여부에 따라 조사기관을 네 그룹으로 나눴다. 대부분의 조사를 유선전화를 대상으로 ARS만을 써서 조사하는 회사는 13곳이었는데, 예측정확도 순위가 가장 낮은 기관 10곳 중 6곳이 이 그룹에 속했다. 한편, 무선전화를 혼합해서 조사하는 비중이 상대적으로 높고, 전화면접 비중이 높은 회사는 18곳이었다. 예측이 가장 정확한 회사 10곳 중 6곳이 이 그룹에 속했다.

어떻게 분석했나?

1.오차란?

선거 여론조사가 실제 선거 결과를 얼마나 정확하게 예측했는지는 예측값과 참값의 차이로 평가할 수 있다. 여기서 예측값은 조사기관이 내놓은 지지율이 되고 참값은 실제 투표에서 얻은 득표율이 된다.

조사오차 = 예측값(여론조사 지지율) – 참값(선거 득표율)

2. 데이터 수집

지지율, 즉 여론조사기관들의 선거예측 데이터는 중앙선거여론조사심의위원회(여심위) 홈페이지에서 수집했다. 2014년 3월 여론조사 결과 등록 제도가 시행된 이후 2017년 4월 16일 현재까지 여심위 홈페이지에 등록된 조사건수는 3,396개였다. 이 가운데 선거일로부터 4주 이내에 조사된 여론조사는 모두 1,557건이었다. 여심위 홈페이지의 첨부파일을 열어 일일이 확인하는 수작업을 거쳤다. 득표율, 즉 실제 투표에서 각 후보가 얻은 득표율 데이터는 중앙선거관리위원회가 관리하는 선거통계시스템에서 가져왔다.

선거명	조사 건수
제6회 전국동시지방선거	705
2014년 상반기 재·보궐선거	54
2015년 상반기 재·보궐선거	26
제20대 국회의원선거	757
2016년 재·보궐선거	15
총합계	1,557

3. 단순오차

개별 후보들의 지지율과 득표율을 바로 비교하기는 어렵다. 여론조사에서는 ‘지지후보가 없다’는 등의 무응답이 있지만 실제 투표에서는 없기 때문이다. 이같은 문제를 해결하기 위해 학계에서는 후보간 지지율의 차이를 예측값으로, 같은 후보간의 득표율 차이를 참값으로 보고 그 차이를 계산해 여론조사의 정확성을 평가하는 경향이 있다. 뉴스타파는 선거에서 당선자와 2위 후보의 득표율 차이와 같은 후보들의 여론조사에서의 지지율 차이를 비교해 오차를 계산했다.

단순오차 = (선거 1, 2위 후보간 득표율 차이) – (여론조사 동일 후보 지지율 차이)

4. 수정오차

단순오차를 기준으로 여론조사기관을 평가하는 데는 한계가 있다. 여론조사기관의 책임으로 볼 수 없는 요인들이 오차를 초래했을 수 있기 때문이다. 대표적으로 고려되는 요인이 바로 조사가 이뤄진 시점이다. 선거일에 가까운 조사일수록 더 정확할 가능성이 높다. 또 선거 유형과 표본크기도 오차에 영향을 미치는 요인으로 알려져 있지만 조사기관의 책임으로 볼 수 없는 요인들이었다. 뉴스타파는 이 세 가지 요인이 오차에 미치는 영향을 통제하기 위해 회귀분석을 수행하고, 각 조사별로 잔차 값을 계산하는 방식으로 ‘수정오차’를 계산했다.

회귀분석의 종속변인으로는 ‘단순오차’, 독립변인으로는 조사일과 선거일 사이의 거리, 표본크기, 선거 유형이 사용됐다. 미국의 여론조사전문매체인 파이브서티에이트(FiveThirtyEight)이 적용해 공신력을 인정받은 방식이다. 조사업계와 학계에서 사용되는 다른 지표들과 비교한 결과 타당성에 문제가 없다고 판단했다.

※분석 결과에 이견이 있거나 개선사항을 제안하고 싶은 경우, 최문호([email protected]) / 김강민([email protected])에게 연락바랍니다.

---

취재: 최문호, 김강민, 최윤원, 연다혜
촬영: 김남범, 최형석
편집: 이선영
자료 입력: 김현우, 이수련

Worst 10 후보에는 김석기(새누리당 경북 경주시), 김무성(새누리당 부산 중구영도구), 나경원(새누리당 서울... 총선넷의 설문조사는 미신고 여론조사로 공직선거법에 저촉된다고 선관위는 밝혔다 이에 대해 총선넷 측은...