국회 과방위는 인공지능법안 전면 재검토하라.

지난 2월 14일, 국회 과학기술정보방송통신위원회 심사소위는 「인공지능산업 육성 및 신뢰 기반 조성 등에 관한 법률안」을 통과시켰다. 그러나 이 법안은 인공지능 규율을 위한 기본법임을 표명하면서, 안전과 인권에 미치는 인공지능의 위험을 규제할 수 있는 실질적인 내용은 없고, 인공지능 산업 육성을 위해 ‘우선허용 사후규제’라는 터무니없는 원칙을 앞세워 오히려 정당한 규제의 도입을 방해할 가능성이 크다. 국회 과방위는 산업계의 이익만을 위해 졸속으로 추진하고 있는 이 법안을 즉각 폐기해야 한다.

최근 챗GPT를 비롯한 인공지능 기술의 발전이 많은 사람들을 놀라게 하고 있지만, 이미 공공 및 민간 영역에서 인공지능 서비스들이 실생활과 업무에 상당히 도입되어 있다. 인공지능 알고리즘의 차별 문제, 인공지능 개발 과정의 개인정보 침해, 실시간 얼굴인식과 같은 인공지능 감시 문제 등 특히 고위험 인공지능이 야기할 수 있는 여러 문제를 방지, 완화할 수 있는 규율이 필요하다는 것에 대한 공감대도 확산되고 있다. 이에 국가인권위원회도 2022년 5월 <인공지능 개발과 활용에 관한 인권 가이드라인>을 발표하여 △개인의 인권과 안전에 미치는 위험성 별로 걸맞은 수준의 규제와 인적 개입, △인공지능을 독립적이고 효과적으로 감독할 수 있는 체계 수립, △인공지능 때문에 피해를 입은 사람이 권리구제를 받을 수 있는 기회를 제공할 것 등의 내용으로 하는 입법을 정부에 권고한 바 있으며, 국무총리와 각 부처 장관 역시 이 권고를 수용한 바 있다. 그러나 이번에 국회 과방위 법안심사소위를 통과한 인공지능 법안이 이러한 요구에 부응하고 있는지는 의문이 아닐 수 없다.

이 법안은 고위험 인공지능을 정의하고 있지만, 주요 국가에서 추진하는 고위험 인공지능 규제 대상과 내용에 비하여 중요한 분야를 누락하고 있으며, 금지해야 하는 인공지능에 대해서는 전혀 규정하고 있는 바가 없다. 더구나 고위험 인공지능을 규정하는 이유는 그 위험성을 방지, 완화하기 위한 것인데, 법안에서 규정하고 있는 고위험 인공지능에 대한 규율은 고지 의무와 사업자 책무 등 단편적이고 형식적인 것에 그치고 처벌 규정도 없는 등 실질적인 위험 방지 장치를 갖추고 있지 못하다. 이는 유럽연합 인공지능 법안에서 고위험 인공지능 시스템의 개발이나 활용하는 사업자에 대해서 위험 영향을 평가하거나 완화할 의무, 출시 전 검사하거나 사후에 모니터링할 의무, 개발이나 운영 중 문서화하거나 기록할 의무, 데이터 편향이나 오류를 방지할 의무, 작동에 대해 투명하게 설명할 의무, 인간이 관리감독할 의무, 시스템의 견고성·정확성·보안성, 인증·등록·보고 의무 등을 세세하게 규정하고, 금지된 인공지능을 출시한 경우 최대 3천만 유로 또는 연간 전세계 총매출의 6%의 벌금을 부과하는 등 엄격하게 규율하고자 하는 것과 대비된다.

오히려 이 법안은 다른 관할 기관의 정당한 규제를 방해할 가능성이 크다. 제11조는 우선허용ㆍ사후규제 원칙을 규정하고 있는 가장 큰 독소조항으로, 국민의 안전과 인권에 치명적인 영향을 미칠 수 있는 인공지능도 우선허용되어야 하는지 되묻지 않을 수 없다. 더구나 제11조 2항은 다른 국가 및 지방자치단체 역시 ‘인공지능기술, 인공지능제품 또는 인공지능서비스와 관련된 법령 및 제도’를 수립할 때 이 원칙에 부합하도록 요구하고 있는데, 이는 개인정보보호위원회나 공정거래위원회 등이 정보주체나 소비자의 안전과 권리를 위한 인공지능 규제를 도입하는 것과 충돌할 수 있다.

이와 같은 산업 편향은 과학기술정보통신부에 인공지능과 사회정책 일반을 소관하도록 한 것에도 나타난다. 이 법안은 과기정통부에 인공지능산업 진흥 및 인공지능 신뢰성 제고를 위하여 법령의 정비 등 관련 제도를 개선할 권한을 부여하고 있고 인공지능 신뢰 기반 조상을 위한 시책을 마련하도록 하고 있다. 또한 과기정통부는 인공지능산업의 진흥 및 신뢰 확보와 관련된 사항을 심의‧의결하기 위한 인공지능위원회의 간사를 맡고 있다. 지금까지 인공지능 산업육성과 자율규제만을 외치며 안전과 인권 보호를 등한시해왔던 과기정통부가 인공지능 신뢰 기반 조성을 위한 사업을 주도할 자격이 있는지 의문이다. 고양이에게 생선을 맡기는 격이 되지 않을지 우려된다.

이 법안은 국가인권위원회의 권고도 충족하지 못할 뿐더러, 국제적인 기준과 권고에도 부합하지 않는다. 이미 2020년 유엔사무총장은 인공지능 사용에 대한 책임성을 완전하게 보장하는 적절한 법률체계와 절차방법을 마련하고 감독 체제를 수립하며 인공지능의 피해에 대한 구제 수단을 구비할 것을 각국에 권고한 바 있다. 또한 유엔인권최고대표는 2021년 <디지털시대 프라이버시권 보고서>에서 공공과 민간 인공지능 사용의 부정적인 인권 영향을 방지하고 완화하는 인권실사와 피해자를 구제하는 규제 체계의 도입을 요구하였다. 국제적인 요구수준에 부합하지 않는, ‘세계 최초 인공지능 법안’은 세계적인 웃음거리가 될 뿐이다.

과연 이 법안으로 아무런 사전 검토도 없이 인공지능 채용 프로그램을 도입하고 있는 공공기관이 책무성을 갖도록 할 수 있을까? 법무부가 출입국 시스템 고도화를 명분으로 내외국인의 얼굴정보를 무단으로 사용하는 것을 막을 수 있을까? 수사기관이 충분한 사회적 논의와 안전장치없이 범죄수사나 예방을 위한 인공지능 시스템을 개발하는 것을 막을 수 있을까? 이미 무분별하게 도입되고 있는 인공지능 서비스를 고려할 때, 인공지능에 대한 적절한 법적 규율은 필요하다. 그러나 이렇게 제대로 된 규율도 없고 오히려 정당한 규제 도입을 방해할 수 있는 인공지능 법안을 졸속으로 추진해서는 안된다.

우리 인권시민사회단체들은 안전과 인권 보장을 외면한 인공지능 법안 제정에 반대한다. 국회 과방위는 더 늦기 전에 인공지능 법안을 폐기하고 원점부터 사회적인 논의를 시작하라. 제품안전, 소비자보호, 개인정보보호, 차별금지 등 안전과 인권에 관한 규제를 소관하는 모든 상임위원회가 참여하여 국회 차원에서 인공지능 기본법을 재검토할 필요가 있다.

- 국제 인권규범, 국가인권위 인공지능 가이드라인 무시하는 인공지능법 제정 반대한다!

- 과방위는 인공지능산업 육성에만 치중한 인공지능 법안 전면 재검토하라!

- 안전과 인권보장이 우선이다! 우선허용ㆍ사후규제 원칙 폐기하라! 

2022년 3월 9일

경제정의실천연합, 광주인권지기 활짝, 건강권 실현을 위한 보건의료단체연합, 무상의료운동본부, 민주사회를 위한 변호사모임 디지털정보위원회, 사단법인 정보인권연구소, 서울YMCA 시민중계실, 언론개혁시민연대, 연구공동체 건강과 대안, 전국민주노동조합총연맹, 전국사무금융서비스노동조합, 전북평화와인권연대, 진보네트워크센터, 천주교인권위원회, 참여연대, 홈리스행동

▣ 붙임 : 기자회견 참석자 발언요지

1. 과방위 법안심사소위 통과법안의 독소조항(김선휴 참여연대 공익법센터 운영위원)

점점 국가는 국가의 기본적 책무를 저버리는 방향으로 가고 있습니다. 국가의 기본권 보호의무를 저버리는 법안입니다.
법안 11조 1항은 생명안전권익에 위해가 발생한 이후에야 규제할 수 있습니다. 이미 피해가 발생한 후에 조치하는 것으로 국가의 기본권보호의무를 다한다고 볼 수 없습니다.
사전규제는 안전보장 질서유지 공공복리 현저히 저해할 우려가 있을 때만 가능합니다. 그런데 현저히 저해할 우려를 국가가 어떻게 입증할 것인가요?  국가가 그 현저히 저해할 우려를 사전에 입증하는 것은, 거의 불가능하다고 봅니다.
헌법 37조2항에 따라 국가는 안전보장 질서유지 공공복리를 위해 필요한 경우 기본권을 제한할 수 있습니다. 그런데 이 법안처럼 다른 기본권이나 헌법가치를 현저히 해할 우려를 요건으로 하는 경우는 일반적이지 않습니다. 인공지능을 개발, 출시할 권리가 안전보장이나 공공복리를 침해할 현저한 우려가 있을 때만 제한해야 할만큼 다른 기본권이나 헌법적 가치보다 우위에 있는가 의문입니다. 일부 기업의 이익을 대다수 국민의 안전을 볼모로 해서 보장하려는 것이 과연  올바른 법익형량인가요?
그렇다면 사후규제는 과연 실효적일 수 있을까요? 이미 생명안전권익 위해가 발생했다면, 특히 생명안전 위해는 사후약방문입니다. 온전한 회복이 될 수 없습니다.
더군다나 책임은 제대로 물을 수 있을까요? 자동차 급발진에 대해서도 책임을 묻지 못하는데, 인공지능의 오류나 오작동, 편향에 대해 책임을 묻는 것이 쉽겠습니까. 인공지능이 어디까지 책임을 져야하는지 그 개발자나 기업에 어디까지 책임을 물을 수 있는지 아직 법체계 정비나 해석이 미비합니다. 실제 위해가 발생했을때 사후적으로라도 책임을 묻고 사후적 권리구제 피해회복이라도 가능하겠는가 묻지 않을 수 없습니다. 그리고 필요한 규제를 하지 않은 국가는 인공지능의 위험으로부터 국민을 보호할 규제장치를 마련하지 않은 것에 책임을 지겠습니까? 이 조항을 내세워, 현저한 우려까지는 입증하기 어려웠다며 책임을 피해가지 않을까요.
결국 기업에게도 국가에게도 책임을 피해갈 수 있게 해주는 법안을 통과시키려는 것입니다.
11조 2항에서는 다른 법령도 1항의 원칙에 맞게 정비하라는데 이것이 다른 규제목적을 지닌 법령까지 개폐해야 할만큼 우위의 원칙이라고 볼 수 없습니다.
26조에서는 고위험 인공지능의 확인을 과기정통부 장관의 확인을 요청할 수 있도록 하고 있습니다. 고위험 인공지능에 해당하여야 사업자 책무와 같이 아주 미약한 일부 규제가 적용되는데 이것도 고위험인공지능에 해당하는지에 대한 판단이 과기정통부장관의 확인에 종속, 의존될 가능성이 너무 높습니다.

2. 과방위 법안심사소위 통과법안의 거버넌스 문제점(김하나 민변 디정위 위원장) 

저희는 인공지능산업 육성을 지지합니다.  그러나 이번 법안심사소위를 통과한 인공지능법안에 기초한 인공지능산업 육성에 반대합니다.
전세계적으로 아니, 대한민국의 인공지능산업이 지금 육성만 하면 되는 시기인지 묻고 싶습니다.
이루다사태로 차별과 혐오발언이 양산되고, 카카오t가 가맹택시인 카카오 블루에 콜을 몰아주는 것도 규제하지 못하였습니다. 지금까지 우선허용 사후규제 원칙이 지켜지지 않아 이러한 문제가 발생한 것이 아닙니다.
인공지능기술은 이제 일상생활뿐만아니라 사람의 권리와 의무에도 영향을 미치고 있습니다. 이에 국가인권위원회는 작년 5월 <인공지능 개발과 활용에 관한 인권 가이드라인>에서 △개인의 인권과 안전에 미치는 위험성 별로 걸맞은 수준의 규제와 인적 개입, △인공지능을 독립적이고 효과적으로 감독할 수 있는 체계 수립, △인공지능 때문에 피해를 입은 사람이 권리구제를 받을 수 있는 기회를 제공하라고 권고 하였습니다.
이제 인공지능기술산업은 정보주체와 소비자의 권리와 인권에 관한 논의, 교육, 보건, 노동 등 분야에서 인공지능기술을 탑재한 각종 공산품의 안전성에 대한 논의와 함께 이루어져야합니다.
인공지는법안은 인공지능 책임성을 완전하게 보장하는 적절한 법률체계와 절차방법을 마련하고 감독 체제를 수립하며 인공지능의 피해에 대한 구제 수단을 구비하는 내용을 담아야하고, 과학기술정보통신부가 이를 해내기는 어렵습니다.
지난 정부는 “사람이 중심이 되는 인공지능을 위한 신뢰할 수 있는 인공지능 실현 전략”을 관계부처 합동으로 진행한바 있습니다. 사람의 권리에 인공지능기술이 영향을 미치는 지금 그 산업육성을 위해 여러 부처가 함께논의를 이어 가야한다는 것을 분명히 익식한 행보입니다.
이에 시민사회는 사람이 생명과 안전을 보장하는 건강한 인공지능기술산업이 육성되도록 되거버넌스를 구성하고 논의를 이어갈것을 강력히 촉구합니다.

3. 유엔 및 다른 나라 입법례로 본 문제점(장여경 정보인권연구소 상임이사)

과방위 인공지능 법안은 미래 산업 육성을 명분으로 모든 규제를 완화하고 있습니다. 그러나 인공지능 제품과 서비스의 위험 문제는 먼 미래가 아니고 우리 눈앞에 닥친 문제입니다.
카카오택시는 영업비밀 뒤에 숨어서 차별적인 알고리즘을 운영했습니다. 뒤늦게 공정거래위원회가 조사하고 조치하였습니다. 인공지능 스피커 등에 내장되는 인공지능 챗봇인 이루다는 혐오 발언과 개인정보보호법 위반으로 논란을 빚었습니다. 버전 2.0을 출시할 때는 개인정보보호위원회와 사전에 협의하여 위법성을 줄였습니다. 그런데 이 법이 통과되면 공정거래위원회와 개인정보보호위원회, 국가인권위원회가 인공지능의 위험성을 제대로 조사하고 특히 사전에 조치하는 일은 큰 방해를 받게 될 것입니다.
해외에서도 인공지능 제품과 서비스의 위험 문제가 크게 불거지고 있습니다. 쇼핑몰 무인로봇은 유아를 공격하였고, 자율주행차는 작동 오류로 사망사고를 여러건 일으켰습니다. 인공지능 스피커는 음성을 잘못 인식하여 엉뚱한 주문을 하기도 했습니다. 이런 상황에서 해외 여러 규범은 인공지능 위험으로부터 안전과 인권을 법적으로 보장하기 위한 제도 마련에 분주합니다.
유엔은 사무총장과 유엔인권최고대표 등이 각국에 인공지능 규제 입법을 권고하여 왔습니다. 특히 인공지능의 인권침해와 차별 등을 국가적으로 감독하기 위한 체계를 마련하고 피해자의 권리를 구제할 것을 요구하였습니다. 우리나라 국가인권위원회도 같은 기준을 갖춘 법률을 입법할 것을 정부에 권고하였습니다.
인공지능 위험성을 인지한 해외에서 가장 빠르게 입법이 된 분야는 공공부문입니다. 영국 정부 인공지능 조달지침이나 캐나다 정부 자동화된 의사결정 훈령은 공공부문이 조달하는 인공지능의 경우 데이터 품질 보장, 영향평가, 설명가능성, 투명성 등을 의무로 부과하였습니다.
가장 앞선 곳은 유럽연합입니다. 유럽연합 집행위원회는 2021년 4월 인공지능법안을 제안하였고, 올해 의회 통과가 예상되고 있습니다. 이 법안은 시민에게 너무 위험하여 용인할 수 없는 인공지능을 금지하였고 여기에는 장애인등의 취약점을 악용하는 인공지능이나 공공장소에서 원격으로 감시하는 생체인식 인공지능이 포함됩니다. 차량, 승강기, 의료기기, 장난감 등에 사용되는 인공지능은 고위험으로 특별하게 관리됩니다. 이는 단지 고위험으로 분류하는데 그치지 않고 규제기관이 사후에 집중적으로 개입할 수 있도록 자세한 데이터 품질이나 문서화 의무 등을 사전에 갖추도록 규정하였고, 여러 영향평가와 인증을 출시전에 마쳐야 합니다. 형식적인 고위험 관리가 아닙니다. 규제기관 협조 등 고위험 인공지능에 부과된 의무를 거부하는 경우 전세계 연매출액의 4%~6%의 과징금으로 처벌됩니다.
한편 인공지능규제에서 미국이 많이 완화되어 있다고들 이야기합니다. 그러나 최근 바이든 행정부 등장 이후 알고리즘과 빅테크 위험성을 여러차례 경고하면서 연방차원의 알고리즘 책무성 법안이나 빅테크 6개 규제법 패키지 입법을 적극적으로 추진하고 있습니다.
이런 상황에서 인공지능 위험에 대응하는 모든 규제를 금지하고 우선허용 사후규제를 명시하는 인공지능법안은 국제적 흐름에 어긋납니다. 인공지능의 위험성을 통제하는 제도를 마련하기 위해 노력해온 세계 시민의 놀라움과 비웃음을 사게 될 것입니다. 국민의 안전과 인권, 때로는 생계에 위험한 영향을 미치는 인공지능의 규제를 사전적으로는 금지하고 사후적으로도 회피하는 인공지능 입법은 세계 유례가 없을 것입니다.

4. 국민 안전과 인권은 뒷전인 인공지능법안 반대 (전진한 건강권 실현을 위한 보건의료단체연합 정책국장)

인공지능산업육성법은 의료기기를 포함한 보건의료에 적용하는 인공지능도 우선허용 사후규제 대상으로 삼고 있습니다.
의료 인공지능으로 잘 알려진 것으로 IBM이 개발한 ‘왓슨’이 있었습니다. 왓슨은 환자 데이터를 입력하면 치료방법을 제시하는 프로그램이었습니다. IBM은 이 프로그램을 ‘암 치료의 혁명’이라고 홍보했습니다.
문제는 이 기술이 연구단계임에도 판매돼서 상용화됐었다는 것입니다. 왓슨은 안전하지 않고 부정확한 치료법을 추천했습니다. 폐암의 경우 정확도가 18%, 위암과 유방암의 정확도도 40%대에 불과했습니다. 그래서 어떤 의사들은 이 프로그램을 “쓰레기”라고 불렀습니다.
그럼에도 불구하고 많은 병원들이 ‘왓슨’을 도입했습니다. 그 이유는 과장된 홍보로 암환자를 유인할 수 있고 인공지능을 쓴다는 이유로 엄청난 비용을 청구할 수 있기 때문이었습니다. 한국의 지방 대학병원들도 너도나도 이 프로그램을 도입해서 환자를 끌어들였습니다.
이것이 보여주는 바는, 규제되지 않은 인공지능은 최악의 경우에 환자의 건강과 생명을 위협할 수 있고, 가장 운이 좋은 경우에도 국민들이 불필요한 비용을 지출하게 만든다는 것입니다. 기업들의 이익을 위해서 말입니다.
최근에는 인공지능으로 병원시스템 전체를 개조하려는 움직임도 있습니다. 인공지능으로 환자와 의료진에게 음성명령을 내려서 병실을 관리한다는 것입니다. 이걸 기업들은 ‘스마트병원’이라고 부릅니다. 하지만 그것이 과연 스마트할지 아닐지는 철저한 검증이 있어야 알 수 있는 것입니다. 중요한 순간에 잘못된 명령이 내려진다면 시스템이 붕괴하고 많은 사람들이 목숨을 잃을 수 있습니다.
특히 병원 같은 데에서는 소비자가 기술을 선택하는 게 아니라 의료인의 판단에 모든 걸 맡기기 때문에, 인공지능 검증을 생략하는 것은, 훌륭한 어떤 학자의 말을 인용하면 ‘쓰레기를 강매’하는 것입니다.
이 법이 의료 인공지능은 고위험 기술이라고 분류하면서고 거의 아무런 제한을 두지 않는 것은, 위험하다는 걸 알면서도 국민의 안전을 포기하겠다는 것입니다.
정도는 다를지 모르지만 다른 영역에서도 인공지능이 사회의 주요 기능과 뗄수없이 결합되면 많은 국민들이 안전 문제를 겪을 것입니다. 예컨대 자율주행차 같은 것들 말입니다.
‘디지털 예외주의’가 판치고 있습니다. 새로운 디지털 기술은 기존 규제의 적용을 받는게 부적절하다면서 규제완화를 정당화합니다.
하지만 이건 넌센스입니다. 거꾸로 인공지능 같은 새로운 디지털 기술은 우리가 잘 알지 못하기 때문에 오히려 기존 기술보다 더 엄격히 통제되어야 합니다. 인공지능의 알고리즘이 불투명하고 의사결정을 내리는 과정과 기준을 알 수 없다는 점 때문에도 더욱 철저하게 검증돼야 하고 제한적으로 적용되어야 합니다.
차별을 확대하지 않기 위해 윤리적 기준이 엄격해야 하고, 개인정보 보호에 대한 보호와 규제가 필수입니다.
그러나 인공지능 산업을 육성하겠다는 윤석열 정부와 국회는 오로지 기업 이윤을 위해 이런 안전장치를 다 허물려 하고 있습니다.
보건의료 부문은 물론이고 전 사회 영역의 인공지능 규제완화는 국민의 생명 안전 인권을 심각하게 침해할 것입니다. 이 말도 안되는 악법이 통과되는 일은 없어야 할것입니다