인공지능에 영향 받는 사람의 안전과 인권을 보호하고 구제할 수 있어야

국민의힘 발의안은‘자율규제’로 인공지능 위험을 방치하고 국제 규범에 미치지 못해

22대 국회가 개원하자마자 인공지능법안 발의가 계속 이어지고 있다. 특히 국민의힘 정점식 의원이 대표 발의한 「인공지능 발전과 신뢰 기반 조성 등에 관한 법률안」(의안번호: 2200543, 이하 국민의힘 발의안)은 국민의힘 소속 108명 국회의원 전원이 공동 발의하였다. 우리 시민사회는 인공지능의 위험에 영향을 받는 사람의 안전과 인권을 보호하는 인공지능법의 제정을 꾸준히 요구해 왔다. 그러나 최근 잇따라 발의된 인공지능법안들의 경우, 인공지능 산업 진흥을 우선시하며 인공지능의 위험을 방지하거나 완화하는 규정에 소홀하다는 점에서 매우 우려스럽다.

21대 국회는 과학기술정보방송통신위원회 법안심사소위원회에서 「인공지능산업 육성 및 신뢰 기반 조성 등에 관한 법률안」을 논의한 바 있고 현 정부에서 그 입법을 강력히 추진하였다. 그러나 해당 법안은 인공지능 산업에 대하여 실효성 없는 ‘자율규제’로 인공지능 위험을 방치하였다는 점에서 여러 비판을 받았다. 국회와 정부가 우리 사회 전체와 사람들에게 중대한 영향을 미칠 인공지능법에 대해 다양한 의견을 수렴하기는커녕 그 내용조차 공개하지 않은 채 불투명하게 논의해 왔다는 점에서 절차적인 문제도 지적받았다.

안타깝게도 국민의힘 발의안은 물론 현재 발의된 인공지능법안들의 경우, 21대 국회가 밀실 속에서 논의했던 내용을 답습하고 있으며, 이로 인해 시민사회는 물론 국가인권위원회가 지적하였던 문제점 대다수를 개선하지 않았다. 특히 이들 법안은 범용 인공지능을 비롯하여 인공지능의 위험을 사회적으로 통제하기 위한 강력한 의무적 조치를 요구하여 온 최근의 국제규범과 크게 어긋나 있다.

세계 최초의 인공지능법으로 2026년 시행 예정인 유럽연합 AI ACT의 경우, 수용할 수 없는 위험, 고위험, 제한적 위험, 최소 위험 등 인공지능의 위험을 체계적으로 나누고 위험에 비례한 의무를 부과하였으며, 피해 구제를 위한 국가 거버넌스 체계를 수립하였다. 미국의 경우 바이든 대통령이 2023.10.30. AI 행정명령(14110)을 발표한 이래로, 연방정부 조달 AI와 강력한 범용 AI 시스템(dual-use foundation model)을 중심으로 인공지능의 안전에 대한 의무 표준을 마련해 가고 있다. 미국 의회의 정치적 여건상 행정명령이라는 제한된 형식을 빌기는 하였으나, 바이든 대통령은 7개 인공지능 기업과의 자발적 약속(voluntary commitments)에서 구속력 있는 의무의 개발 및 집행을 위하여 초당적 입법을 추진하겠다고 밝힌 바 있다. 유럽연합과 미국의 인공지능 규범은 모두 위험 기반 접근법을 취하였으며, 역내 시장에 대한 영향을 넘어 국제적인 표준을 형성해 가고 있다는 점에서 주목받는다. 영국의 경우 독자적인 인공지능법을 추진하기보다 반독점, 개인정보, 금융, 방송 통신 등 기존 규제기관이 소관별로 인공지능에 대한 규제를 추진해 왔다. 다만 영국 역시 최근 파운데이션 모델 등 범용 인공지능에 대한 규제를 모색하면서 ‘인공지능 규제기관(AI Authority)’의 신설도 검토하는 것으로 알려졌다.

산업계는 토종 AI 기업이 있는 우리 나라의 경우 강한 규제를 하면 산업 발전을 저해할 것이라고 주장한다. 그러나 우리 단체들은 무조건 강한 규제로 산업 발전을 저해해야 한다고 주장하는 것이 아니다. 산업 진흥과 더불어 인공지능의 위험성으로부터 안전과 인권을 실효적으로 보장할 수 있는 방안도 함께 마련해야 한다는 것이다. 따라서 인공지능의 위험성을 통제하고 사후에 적절한 책임을 지울 수 있는 정책이 무엇인지도 반드시 함께 논의되어야 한다. 산업 발전을 명분으로 규제 완화나 유예를 주장하는 것은 안전과 인권에 미치는 위험을 방치하자는 주장이나 다를 바 없다. 그런 의미에서 현재 소속 국회의원 전원이 공동 발의한 국민의힘 발의안은 인공지능의 위험성에 대하여 매우 안이하게 인식하고 있으며, 이는 책임있는 정부 여당의 자세라고 할 수 없다.

우리는 인공지능법이 인공지능의 위험으로 영향을 받는 사람의 안전과 인권을 실효적으로 보호하고 구제하기 위해서 쟁점별로 다음 사항을 주요하게 포함할 것을 제안한다. 더불어 국민의힘 발의안에서 각 쟁점을 비판적으로 검토한다.

1. 안전과 인권 구제

인공지능법은 인공지능으로 인하여 안전과 인권을 침해하는 사고가 발생하였을 경우, 국가가 해당 제공자 기업의 책임에 대하여 실효적으로 조사하고 피해를 입은 사람을 구제할 수 있도록 해야 한다. 이를 위하여 국가의 인공지능 감독기관이 피해자의 진정을 접수 및 조치하고, 고위험 및 공공기관 인공지능의 의사 결정으로 영향을 받는 사람이 설명받을 권리를 보장해야 한다.

2020.3. 유엔 사무총장(A/HRC/43/29)은 인공지능 사용에 대한 책임성을 완전하게 보장하는 법률체계와 절차 방법을 마련하고, 감독 체제를 수립하며, 인공지능의 피해에 대한 구제 수단을 구비할 것을 권고한 바 있다. 우리 나라 국가인권위원회도 인공지능 개발·활용 과정에서 이용자와 정보 주체가 보장받아야 할 권리를 명시하고 피해 발생에 대한 구제 절차를 마련할 것을 요구하였다.

유럽연합 AI ACT의 경우, ‘구제’(제4절) 절을 별도로 두고, 이 법 위반 사항에 대하여 시장 감독기관에 진정하여 처리하도록 하고(제85조), 고위험 인공지능의 의사 결정으로 영향을 받은 사람이 설명을 받을 권리(제86조) 등을 보장받도록 규정하였다.

미국 AI 행정명령에 따라 마련된 OMB 규칙의 경우, 연방정부 조달 AI에 대하여 인적 검토와 구제 절차를 보장하였다. 영향을 받은 개인이 자신에게 미친 인공지능의 부정적인 영향에 대하여 항고하거나 이의를 제기할 수 있고, 가능한 한 거부(opt-out)권도 행사할 수 있도록 하였다.

국민의힘 발의안의 경우, 인공지능의 위험으로 영향을 받는 사람이나 피해를 입은 사람을 구제하기 위한 아무런 규정을 두지 않았다. 또한, 인공지능의 개발, 유통, 활용 등에 관여한 이해관계자별로 적절한 책임을 부과해야 함에도 불구하고, 이 법안은 영리를 목적으로 한 인공지능 제공자와 활용자를 모두 ‘인공지능 사업자’로 규정하는가 하면, 인공지능 서비스를 자신의 사업을 목적으로 활용하는 자와 최종 이용자(소비자)를 구분하지 않고 모두 ‘이용자’로 구분하는 등, 인공지능으로 인한 책임을 적절하게 부여하는 기본적인 체계조차 갖추고 있지 않다.

2. 고위험 규제

인공지능법은 인공지능의 고위험 영역을 안전에 미치는 위험과 인권에 미치는 위험별로 체계적으로 규정하여야 하며, 출입국 관리, 경찰 수사, 재판, 선거 등 주요 공공 영역의 인공지능과, 산업 안전, 고용 관계, 학교 교육, 신용 평가 영역의 인공지능이 명시적으로 포함되어야 한다. 개인을 식별하는 생체 인식 일반은 물론 민감 정보를 추론하는 생체 인식 분류, 감정 인식, 자연인 프로파일링 등 최근 인권에 중대한 영향을 미치고 있는 인공지능도 고위험 영역에 포함하여 규제하여야 한다.

고위험 영역 인공지능을 시장에 출시하는 제공자는 물론, 이를 업무용으로 도입하는 활용자 모두 사전에 인공지능의 위험을 방지하거나 완화하는 조치를 취하도록 강력한 의무를 부과하여야 한다. 이러한 고위험 영역의 의무는 사후에 안전과 인권을 침해하는 사고가 발생할 경우 그 책임 문제에 대하여 조사하고 구제하는 조치를 뒷받침할 수 있어야 한다. 공공기관에 도입되는 인공지능의 경우 고위험 영역에 준하는 위험 방지 및 완화 의무가 부과되는 것이 바람직하다.

구체적으로 고위험 영역 인공지능 제공자의 경우, 위험 관리, 데이터 셋 관리, 기술문서와 로그기록 작성, 정보를 제공하는 투명성, 사람의 관리 감독, 견고성, 정확성, 사이버 보안을 보장하도록 하고, 시장 출시 전에 적합성 평가와 인증 절차를 이행하여야 한다. 시장 출시 후에도 제대로 작동하고 있는지 모니터링하고, 중대한 문제가 발생할 경우 당국에 신고해야 한다. 고위험 영역 및 공공기관 활용자에 대해서는 인권 영향평가를 의무화하고 그 주요 사항을 공공적으로 등록하여 일반에 공개하도록 해야 한다.

유럽연합 AI ACT는 물론 미국 OMB 규칙의 경우에도, 고위험을 안전과 인권 영역별로 체계적으로 구분하여 규정하였다. 유럽연합과 미국 모두 고위험 영역 인공지능에 대하여 영향평가를 사전에 실시하고 식별되는 위험을 방지하거나 완화하는 조치를 의무화하였다. 일정 수준의 위험 완화 수준에 도달하지 못하거나 도입 전 엄격한 테스트를 통과하지 못하는 고위험 영역 인공지능은, 유럽의 경우 시장에 출시되지 못하고 미국의 경우 연방정부에 조달되지 못한다. 또한 고위험 영역 인공지능의 개발 과정에 대한 문서를 작성·보관하고, 데이터 평가 결과 드러난 편향에 대하여 조치하며, 사람이 관리·감독하도록 하는 것 역시 공통적인 의무로 규정되어 있다.

국가인권위원회는 고위험 영역 인공지능의 경우, 21대의 과방위 법안보다 범위를 확대하여 재정의하고, 알고리즘의 투명성과 설명 가능성, 인권 침해·차별 예방 조치 여부 등을 사전에 엄격히 점검할 것을 권고하였다. 더불어 인권 영향평가 제도를 도입하여 인공지능 개발·출시 전 인권 영향평가를 실시하고, 출시 후 기능 수정 및 활용 범위 변경 시 재평가를 하도록 요구하였다.

국민의힘 발의안의 경우, 고위험 영역의 정의 면에서 안전과 인권에 미치는 위험이 체계적으로 규정되어 있지 않고, 출입국 관리, 경찰 수사 일반, 재판, 선거 등 주요 공공 영역은 물론 산업 안전, 일반 고용 관계, 학교 교육, 신용평가 등이 누락되어 있다. 특히 인권에 미치는 고위험 영역의 경우 ‘채용, 대출 심사 등’으로 아주 제한적인 예시만을 들거나 ‘중대한 영향을 미치는’ 경우로 한정하였고, 대다수는 대통령령으로 위임하는 등 그 대상이 매우 협소하다.

고위험 영역 인공지능 제공자에게는 이것이 고위험이라는 고지 의무만이 부과되어 있다. 또한 위험 관리 방안, 기술문서 작성·보관, 인공지능 결과물 설명, 이용자 보호, 사람의 관리·감독 등의 일부 조치조차 제공자가 자율적인 ‘방안’을 마련하는 책무에 그쳐 있고 책무 위반에 대한 처벌 규정을 두지 않아 아무런 실효성을 갖추지 못했다.

더불어 인공지능 제품이나 서비스를 개발하거나 이를 시장에 제공하는 사업자를 넘어, 이를 제공받아 업무에 활용하는 인공지능 활용자에 대해서는 명시적인 의무나 책무를 규정하지 않았다. 예를 들어 금융기관이 대출심사 AI를 공급받아 금융 소비자를 대상으로 활용하거나 의료기관이 의료 진단 AI를 공급받아 환자를 대상으로 활용할 때 이들 기관의 의무와 책임이 규정되어 있지 않은 것이다. 더불어 제공자와 활용자 모두 위험 평가, 데이터 평가, 로그기록 보관, 사전 적합성 평가 또는 인권 영향평가, 이용자 또는 영향을 받는 사람에 대한 설명, 출시 후 모니터링, 중대한 사고 보고 등 인공지능의 위험을 사전에 평가하고 완화하며, 도입 이후 작동을 모니터링하기 위한 조치 의무를 지고 있지 않았다.

3. 범용 인공지능 규제

인공지능법은 범용 인공지능을 정의하고, 그 위험을 예방할 수 있는 조치를 의무화해야 한다. 특히 위험이 큰 범용 인공지능에 대해서는 적대적 테스트와 국가적 관리를 의무화하여야 한다.

‘범용 인공지능’(General Purpose AI, GPAI) 모델이란, 대규모 자기 지도학습 (self-supervision)을 사용하여 대량의 데이터로 학습된 경우를 비롯하여 상당한 일반성을 나타내며, 모델이 시장에 출시되는 방식에 관계없이 광범위한 고유 작업을 능숙하게 수행할 수 있고, 다양한 다운스트림 시스템 또는 애플리케이션에 통합될 수 있는 AI 모델을 의미한다. 챗GPT의 출시 이후 생성형 인공지능 문제를 넘어 범용 인공지능의 사회적 통제 문제에 대한 세계적 우려가 커져 왔다.

이에 유럽연합의 경우 범용 인공지능 일반에 대하여 기술문서 작성·보관, 정보를 제공하는 투명성, 당국에 대한 협력 의무, 훈련 콘텐츠의 요약본 공개, 저작권법 준수 등을 의무화하였다. 범용 인공지능 중 부동소수점 연산 10^25를 초과하는 등 일정 수준 이상으로 시스템적 위험이 높은 경우 적대적 테스트 등을 의무화하고 사고에 대한 국가 보고 및 사이버 보안을 의무화하였다.

미국 AI 행정명령의 경우에도 범용 인공지능 등 강력한 인공지능 시스템에 대하여 안전 평가 결과와 중요 정보를 정부와 공유하도록 의무화하였다.

국민의힘 발의안의 경우, 범용 인공지능 혹은 파운데이션 모델에 대한 규정이 없다. ‘생성형 인공지능의 안전 확보’ 의무를 규정하였으나 위반에 대하여 아무런 처벌을 하지 않아 실효성이 있다고 보기 어렵다.

4. 금지와 처벌

인공지능법은 용인할 수 없는 인공지능을 명시적으로 금지하여야 한다. 어떤 인공지능을 금지할지에 대하여 우리 사회 전체적으로 합의하여 규정을 마련해야 한다. 금지나 고위험 영역 인공지능 등에 대한 의무를 미이행하는 인공지능 제공자, 활용자에 대해서는 실효적으로 처벌하는 규정을 두어야 한다.

유럽연합 AI ACT의 경우, 용인할 수 없는 인공지능을 금지하고 이를 위반하는 경우 전 세계 연간 매출액의 최대 7%의 과징금을 부과한다. 이때 금지되는 인공지능이란, △잠재의식 기술이나 조작, 기만적인 AI 시스템, △나이, 장애 또는 사회적·경제적 상황으로 인한 취약점을 악용하는 AI 시스템, △인종, 정치적 의견, 노동조합 가입 여부, 종교적 신념, 성생활·성적 지향을 추론하는 생체인식 분류 시스템, △사회적 행동·개인적 특성을 기반으로 개인·그룹을 평가하거나 분류하여 관련 없는 상황에서 해롭거나 정당하지 않은 대우를 초래하는 AI 시스템, △법 집행을 위한 공공장소 ‘실시간’ 원격 생체인식, △프로파일링·성격 특성만을 기반으로 개인의 범죄 위험을 평가하는 AI 시스템 △인터넷이나 CCTV에서 광범위한 스크랩으로 얼굴인식 데이터베이스를 생성하는 AI 시스템, △직장이나 교육기관에서 감정을 추론하는 AI 시스템이 해당한다. 한편, 고위험 인공지능 시스템에 대한 의무를 준수하지 않는 경우에는 전 세계 연간 매출액의 최대 3%의 과징금이 부과된다.

미국의 경우 법률이 아닌 AI 행정명령에서 명시적인 금지나 처벌 규정을 두고 있지는 않지만 연방정부 AI가 차별 금지 법령에서 금지하는 불법적인 차별이나 유해한 편견을 초래하는 경우 해당 정보의 사용을 중단해야 한다.

국민의힘 발의안의 경우, 용인할 수 없는 인공지능의 위험에 대해서도 아무런 금지를 규정하지 않았다. 고위험 영역 인공지능에 대해서도 의무를 이행하지 않는 사업자를 처벌하는 규정을 두지 않아 고위험 규제의 실효성이 전혀 없다. 유일한 처벌 규정은 국가인공지능위원회 위원의 직무상 비밀 위반에 대한 것이다.

5. AI 감독 국가 거버넌스

인공지능법은 이 법을 집행하고 그 준수를 감독하며 피해를 구제하는 독립 국가 감독기관을 설립하여야 한다. 이 AI 국가 감독기관은 산업 육성과 구분되는 규제를 독립적으로 소관하여야 한다.

유럽연합 AI ACT의 경우 국내에서 기존에 산업 안전, 장난감, 승강기, 의료기기, 항공기, 선박, 철도, 자동차 등 부문별로 안전을 감독해 온 복수의 시장 감독기관(market surveillance authority)이 해당 분야 고위험의 시장 규제를 독립적으로 계속하여 담당한다. 다만 이 법을 고유하게 집행하는 국가 관할 당국(national competent authority)은 신설되거나 기존의 시장 감독기관 중 지정하여 독립적인 권한 행사를 보장하도록 하였다.

국가인권위원회는 인공지능 감독 및 규제에 관한 사항을 독립적인 기관이 담당하여야 한다고 요구하였다. 산업 진흥과 규제 업무를 하나의 중앙행정기관에서 모두 담당할 경우에 규제가 실효적으로 이루어질 수 있을지 의문이 제기되기 때문이다. 기관이 결정하거나 지원한 행위에 대하여 동일한 기관이 관련 법령 및 기준의 준수 여부, 권리 침해 여부를 판단하게 될 경우 자가당착의 모순이 발생할 수 있고, 결국 규제의 실효성을 담보하기 어려워지는 문제점이 있다.

국민의힘 발의안의 경우, 이 법의 소관 부처인 과학기술정보통신부가 이 법의 주요한 집행을 대부분 감독하며, 심의·의결 기구로서 대통령 소속으로 ‘국가인공지능위원회’를 두도록 하였다. 국가인공지능위원회는 정부 위원, 민간 위원, 대통령 비서실 과학기술 수석비서관으로 구성되며, 위원장은 대통령이 맡고 간사는 대통령실이 맡는다. 국가인공지능위원회의 활동은 ‘독립적’이어야 한다고 규정되어 있으나 대통령과 대통령실이 소관하는 위원회가 어떻게 독립적일 수 있는지 의문이다. 과학기술정보통신부 역시 독립적인 감독기관이라고 보기에 무리가 있으며, 특히 국가인권위원회가 지적한 대로 과학기술정보통신부가 인공지능 기술 및 산업 진흥·육성뿐 아니라 인공지능 규제에 관한 업무도 함께 담당하는 것은 규제의 실효성을 약화시킬 것이다.

게다가 발의안은 과학기술정보통신부와 국가인공지능위원회는 이 법뿐 아니라 타 법과 타 기관의 인공지능 관련 정책의 방향에 대하여 상위기관으로서 권한을 행사하도록 하였다. 과학기술정보통신부는 인공지능산업 진흥 및 인공지능 신뢰성 제고를 위하여 ‘법령의 정비 등 관련 제도’를 개선하는 업무를 담당하며(안 제19조), 중앙행정기관 또는 지방자치단체의 장이 인공지능 윤리에 관한 ‘법령, 기준, 지침, 가이드라인’ 등을 제정하거나 개정할 때에는 이에 대한 권고를 할 수 있고(안 제23조 제3항), 인공지능 이용과 관련한 ‘법령·제도의 정비’에 대한 시책 또한 소관한다(안 제24조 제2호). 국가인공지능위원회는 국가 기관 등의 장에게 ‘법령·제도의 개선’ 등을 수립하도록 권고할 수 있도록 하고, 해당 국가 기관 등의 장은 이를 수립하여 통보하여야 한다(안 제7조 제9호). 결국 이 법 제정 이후 타 법 또는 타 기관에서 인공지능의 고위험을 고유하게 평가하는 제도를 도입하려 하거나 인공지능 규제 법령의 제·개정을 추진하고자 할 때, 과학기술정보통신부나 국가인공지능위원회에서 이를 제지할 위험이 있는 것이다.

인공지능 문제는 사회 여러 분야에 걸쳐 있고, 분야별 전문성이 상호 협력할 수 있는 거버넌스 체계가 마련되어야 한다. 과학기술정보통신부 단독으로는 자율 주행 자동차의 책임 문제나 경찰 AI의 인권 위험을 모두 포괄하는 전문성을 가지고 있지 않다. 카카오택시, 네이버쇼핑, 쿠팡 등 국민 소비생활에 큰 피해를 끼쳤던 플랫폼 기업의 알고리즘 조작 사건에 대해서는 공정거래위원회가 전문성을 발휘하였으며, AI챗봇 이루다의 개인정보 침해 문제에 대해서는 개인정보보호위원회가 가장 전문적이었다. 따라서 각 부처가 전문적인 기존의 소관을 인공지능 분야에도 적용하는 집행을 계속할 수 있을 것이다. 다만 인공지능법에 대한 고유한 집행은 경제 부처보다는 규제기관 중에서 한 곳을 지정하여 담당하도록 하거나 해외에서 논의되듯 새로운 국가 독립 감독기관을 신설하는 것을 고려해 봄직하다.

마지막으로 우리 시민사회는 22대 국회가 특정 부처, 특정 상임위원회, 산업계의 조급한 이해관계를 벗어나, 범 국회적이고 미래지향적인 논의를 통하여 인공지능의 위험을 실효적으로 통제할 수 있는 사회적 합의 도출에 나설 것을 요구한다. 이를 위해서는 인공지능 제공자, 활용자는 물론 영향을 받는 사람을 포함하는 각계의 다양한 의견을 충분히 수렴하는 절차를 마련해야 할 것이다. 방송통신 융합 문제가 우리 사회에 처음 등장하였던 17대 국회 당시 <방송통신융합특별위원회>를 만들어 범 상임위적으로 이 문제를 논의하고 신규 규제 기관인 방송통신위원회 설립 및 운용에 관한 법안을 공동으로 심의하고 합의에 도달하였던 사례를 참고해 볼 수 있을 것이다.

인공지능 위험을 방지하고 완화하는 기업의 책임성 보장 없이는 그에 대응하는 사회적 신뢰도 확보할 수 없을 것이고, 사회적 신뢰 없이는 건강한 인공지능 산업의 발전도 담보하기 어려울 것이다. 22대 국회가 인공지능의 위험으로 영향을 받는 사람의 안전과 인권을 실효적으로 보호하고 구제하는 인공지능법을 입법하여 인공지능의 발전에 대한 사회적 신뢰를 형성하고 국제 사회의 모범이 되기를 바란다. (끝)

2024. 7. 1.

건강권실현을위한보건의료단체연합, 광주인권지기활짝, 무상의료운동본부, 문화연대 기술미디어문화위원회, 민주사회를위한변호사모임 디지털정보위원회, 사단법인 정보인권연구소, 서울YMCA 시민중계실, 언론개혁시민연대, 연구공동체 건강과대안, 전북평화와인권연대, 진보네트워크센터, 참여연대, 천주교인권위원회, 홈리스행동