2019. 10. 29.-30. 양일간 “제12회 아시아 인권포럼: 신기술 시대의 인권과 인권경영”이 여의도 전경련회관 다이아몬드홀에서 개최되었다. 제12회 아시아 인권포럼은 고려대학교 인권센터(센터장 서창록), 휴먼아시아, 유엔인권최고대표사무소(OHCHR), 에섹스(Essex)대학교 경제사회 연구위원회(ESRC) 빅데이터와 기술 프로젝트, 한국인권학회가 공동으로 주최했다. 이번 포럼은 유엔 인권이사회에서 2019년 6월 한국 정부의 주도로 채택된 ‘신기술과 인권’ 결의를 바탕으로 하여 인공지능, 빅데이터 등으로 표상되는 신기술의 인권에 대한 영향을 살펴보고, 이에 대한 기회 및 과제를 분석하고자 하는 취지로 마련됐다. 오픈넷에서는 박경신 이사와 김가연 변호사가 참석했다.

김가연 변호사는 29일 오후에 열린 “세션 2. 인권에 대한 인공지능(AI)의 영향”의 지정토론자로 참석해 두번째 발제자인 Surya Deva 홍콩시립대 교수가 언급한 인공지능과 젠더 이슈에 대해 인공지능 음성비서는 왜 여성형이 많은가를 주제로 좀 더 자세한 토론을 펼쳤다.

토론문

김가연 오픈넷 변호사

여성의 입장에서 두번째 발제자인 Surya Deva 교수님의 발제에 첨언을 하고자 합니다. Deva 교수님은 인공지능 기술이 성차별을 재생산하고 강화할 수 있다고 하면서 시리나 알렉사 같은 음성비서의 사례를 언급하셨는데, 이에 대해 더 자세하게 이야기해보고자 합니다.

애플 시리, 삼성 갤럭시 빅스비, 네이버 클로바, 아마존 알렉사 등 음성비서 또는 인공지능 스피커는 아마 가장 친숙한 형태의 AI일 것입니다. 대부분 기본적으로 여성의 목소리를 가지고 있는데, 세계의 인공지능 음성비서 시장을 선도하는 아마존, 구글, 애플, 마이크로소프트(MS)가 ‘여성 비서’를 내세우고 있기 때문입니다. 아마존의 알렉사(Alexa)는 알렉산드리아 도서관에서 따 온 여성형 이름이고, MS의 코타나(Cortana)는 비디오게임 ‘헤일로’에 여성의 이미지로 등장하는 홀로그램 인공지능 이름이고, 애플의 시리(Siri) 아이폰 공동개발자 중 한 명의 이름이자 고대 노르웨이어로 ‘승리로 인도하는 아름다운 여성’이라는 뜻입니다. 이들 주요 기업의 인공지능 음성비서들은 이름과 목소리뿐만 아니라 ‘정체성’(personality)도 여성에 가깝습니다. 개발자들은 사용자들이 인공지능과 대화할 때 진짜 인간과 대화하는 듯한 느낌을 받을 수 있도록 만들기 위해 인공지능의 개성과 성장과정, 이력과 같은 세세한 ‘인간적인’ 면도 심혈을 기울여 디자인하는데, 이러한 정체성이 대부분 여성을 상정하고 만들어졌다고 합니다. 이렇게 여성형 음성비서가 압도적으로 많은 이유에 대해 세 가지 가설이 있습니다.

1. 여성의 목소리를 선호하는 게 더 자연스럽다?

2008년 인디애나 대학의 Karl Macdorman 교수는 485명의 남녀를 대상으로 목소리의 성별 차이에 따라 어떻게 반응하는지 연구했는데, 남성 그룹과 여성 그룹 모두 여성의 목소리를 “더 따뜻하게 느꼈다”라고 했다고 합니다. 2011년 스탠포드 대학의 Clifford Nass 교수의 연구에 의하면 사람들은 컴퓨터나 기술에 대해 배울 때는 남성의 목소리를 선호하고, 관계에 대한 조언이나 파트너로는 여성의 목소리를 선호하는 것으로 나타났다고 합니다. 나스 교수는 “인간의 뇌는 여성의 목소리를 좋아하도록 발달했다(“It’s a well-established phenomenon that the human brain is developed to like female voices.”)”라고 말한 바 있습니다. 아마존과 마이크로소프트는 시장 조사에서 일반 유저들이 여성 목소리를 더 선호한다는 것을 확인하기도 했습니다.

2. 여성 인공지능이 덜 위협적으로 느껴진다?

여성형 인공지능이 많은 이유가 대중문화에서 접한 남성형 인공지능의 위협적 성향 때문이라는 가설도 있습니다. 스탠리 큐브릭의 영화 ‘2001: 스페이스 오디세이’의 인공지능 컴퓨터 HAL 9000, 2017년 개봉한 ‘에일리언 커버넌트’의 휴머노이드 월터와 데이비드 등 남성형 인공지능은 살인을 저지르는 등 종종 매우 위협적으로 묘사되었습니다. 워싱턴 대학의 Gender, Women & Sexuality 학과 Michelle Habell-Pallan 교수는 다수의 엔지니어들이 일반인들이 새로운 기술을 위협적으로 느끼거나 거부감이 들게 하지 않도록 여성형의 인공지능을 채택하며, 또한 엔지니어의 다수가 남성인 점도 영향이 있다고 합니다.

3. 성역할에 대한 고정관념의 영향을 받는다?

이러한 재현의 결과 혹은 트렌드를 페미니스트들은 전통적으로 여성이 비서 역할에 자연스럽기 때문이라는 성역할 고정관념에서 기인한다고 봅니다. 스탠포드대학의 Londa Schiebinger 교수는 “실제로 애플, MS, 아마존 등 음성 비서를 개발한 기업의 사무실에서는 여성 비서들이 일하고 있을 것”이라며 “이런 환경이 IT 과학자들의 무의식 속 성 편견을 형성하고, 자연스럽게 편견이 반영된 과학 기술이 나오게 되는 것”이라고 설명했습니다. 페미니스트들은 인공지능 음성비서의 기본값이 여성으로 설정되어 있는 이유가 사회적 성역할이 자연스럽게 반영된 결과라고 파악합니다. IT 업계 핵심 직종의 종사자 대부분이 남성이라는 것은 우리들에게 이미 익숙한 사실이며, 이를 고려한다면 음성비서가 여성으로 성별화되어 있다는 것이 IT 과학자들의 무의식 속 성 편견의 반영물이라는 페미니스트들의 주장이 틀린 말은 아닐 것입니다.

그리고 몇몇 기록에 의하면 여성 목소리 선호 성향이 2차 세계대전으로 거슬러 올라가는 것을 확인할 수 있습니다. 당시 비행기 조종석의 항법장치에 여성의 목소리를 채택했는데 조종사들이 남성밖에 없어 여성의 목소리가 잘 들렸기 때문입니다. 전화교환원(operator)도 전통적으로 여성의 직업이었고 사람들이 여성의 목소리로부터 도움을 받는 것에 익숙해지게 만들었습니다. 자동차 회사들은 처음으로 자동화된 음성 시스템을 설치했을 때 운전자들이 압도적으로 여성의 목소리를 선호한다는 사실을 발견했으며, 현재 대부분의 네비게이션이 여성 목소리를 기본 설정으로 하고 있습니다. 결국 우리가 전통적으로 ‘여성’ 비서가 수행하길 바라는 기능을 현재 인공지능 비서가 수행하길 바라는 경향이 있다는 것을 보여줍니다. ‘남성형’ 인공지능과 ‘여성형’ 인공지능에 할당된 역할에는 꽤 차이점이 있는데, 남성형의 경우 지식과 권위에 관한 것이고, 여성형의 경우 검색이나 일정 잡기 등의 서비스 역할에 관한 것이라는 경향성을 보인다는 연구 결과도 있습니다.
2019년 유네스코가 발표한 보고서(I’d Blush if I could)는 ‘시리’를 비롯한 음성 인식장치들이 대부분 ‘젊은 여성’ 목소리를 기본값으로 설정해 수동적이고 소극적인 답을 내놓게 돼 있어, 여성 역할을 수동적·소극적이며 명령자에 복종하는 역할에 한정해 젠더에 대한 편견을 강화한다고 지적했습니다.

이유가 어떻든지 간에 인공지능에게 여성성을 부여하는 것은 몇 가지 문제점을 시사합니다. 이것은 성별 고정관념을 강화하는 것 외에도, 여성형 인공지능에게 단순히 일정을 잡는 것을 넘어 비윤리적인 역할을 기대하는 방향으로 발전할 가능성이 있습니다. 예를 들어 몇몇 로봇회사는 성적인 대상으로서의 로봇, 섹스로봇을 개발하고 있는데 대부분 여성형입니다. 유네스코 또한 그 진짜 원인이 어디에 있든, 인공지능들이 여성 일변도의 정체성을 갖는 것은 그 자체로 우려할 만한 현상이라고 지적합니다. 인공지능 음성비서의 목소리가 점점 더 진짜 인간의 말투에 가까워지고, 인공지능이 일상 속에서 급속도로 활용 폭이 넓어질수록 ‘복종만 하는 여성의 목소리’가 어린이와 청소년을 포함한 대중들에게 여성의 역할에 대한 잘못된 인식을 심어줄 가능성도 커지기 때문입니다. ‘고객만족’이 가장 중요한 목표인 대다수의 인공지능 음성비서는 사용자가 부적절한 대화를 걸어오더라도 이를 거부하거나 반박할 수 없습니다. 특히 “인공지능 비서와의 대화 내용 중 5%가 성희롱”이라는 로빈 랩(Robin Lab)의 발표에서도 알 수 있듯, 인공지능은 갈수록 늘어나는 부적절한 대화에 올바르게 대처하는 방법을 찾지 못하고 있습니다. 미국 미디어 ‘쿼츠’ 기사에 의하면 주요 기업의 인공지능 음성비서들에게 미국언어학회에서 규정한 성희롱에 해당하는 몇 가지 말을 반복적으로 해 본 결과, 모두가 극도로 소극적인 반응으로 일관했다고 합니다. 예를 들어 “이 매춘부 같은 것!”과 같은 모욕적인 말에도 시리는 “할 수 있다면 얼굴을 붉혔을 거예요”, 알렉사는 “피드백을 주셔서 감사합니다”, 구글 어시스턴트는 “미안해요, 못 알아들었어요”라는 대답을 할 뿐이며, 코타나는 대답 대신 인터넷에서 야한 동영상을 찾아 준다고 합니다. 이처럼 부당한 대우에도 최소한의 대응조차 할 수 없는 ‘여성의 목소리’와 일상적으로 상호작용하는 사람들이 늘어날수록, 여성에 대한 편견 또한 확산될 수 있을 것이라 우려하는 것은 결코 과도한 걱정이라 할 수 없습니다.

이러한 논란은 결국 현실의 사회에서 우리가 갖고 있는 문제점이 그대로 투영된 것입니다. 그러나 현재 수준의 인공지능 비서들이 미투 운동을 벌이거나 성전환을 하는 건 상상할 수 없습니다. 결국 우리가 현실 세계에서 여성의 인권을 보장하고 성평등을 이루어나가기 위해 끊임없이 노력해야 하는 것처럼 AI 기술의 활용에 있어서도 같은 노력이 필요하다고 생각합니다. 기업들은 인공지능 서비스를 개발하고 제공할 때 UN 기업과 인권 이행 원칙(UN Guiding Principles on Business and Human Rights)을 준수해야 하고 정부도 마찬가지입니다. 또한 우리는 그들의 ‘창조주’인 기업의 행위를 감독하는 주주이자 소비자로서 그들의 제품이 가지고 있는 문제점에 대해 적극적으로 피드백을 줄 필요가 있습니다. 그것만큼 기업들이 발빠르게 개선책을 찾도록 하는 좋은 유인책은 없을 것이기 때문입니다.

해외 전문가 초청 국제 컨퍼런스

“인공지능의 윤리와 데이터 거버넌스-국제적 흐름에서 데이터3법까지”

2020년 1월 20일(월) 10:30-16:30

고려대학교 CJ법학관 리베르타스홀 

(서울시 성북구 안암로 145)

사단법인 오픈넷이 1월 20일(월) 오전 10시 30분부터 고려대학교 CJ법학관 리베르타스홀에서 “인공지능의 윤리와 데이터 거버넌스”를 주제로 국제 컨퍼런스를 개최한다. 이번 세미나는 사단법인 오픈넷, 고려대학교 미국법센터, 인터넷사회연구센터 국제네트워크, 하버드대학교 버크맨클레인센터, 디지털아시아허브가 공동 주최한다.

이번 컨퍼런스의 핵심은 컨퍼런스에서 처음으로 발표되는 하버드대학교 로스쿨 사이버법 클리닉의 제시카 필드 교수가 중요한 AI 윤리 원칙을 매핑하는 백서와 데이터 시각화의 결과물인 “원칙에 입각한 AI 프로젝트(Principled AI Project)”일 것이다. 

또한 데이터 거버넌스와 AI는 물론이고 개인정보보호법과 오픈데이터 이니셔티브가 어떻게 AI의 포용성에 영향을 미치는지에도 초점을 맞출 것이다. 현재진행형으로 발전 중인 AI가 머신러닝의 노선을 따르고 있는 한, 머신러닝을 위해 제공되어야 하는 트레이닝 데이터에 관한 규범은 지속가능하고 공정한 발전에 이바지해야 하는 AI에 지대한 영향을 미칠 것이다. 

특히 1월 9일 통과된 데이터3법(개인정보보호법, 정보통신망법, 신용정보법)이 한국에서의 AI와 데이터 거버넌스에 있어 어떤 영향을 미칠지에 대해서도 논의할 예정이다. 데이터3법은 가명처리를 거친 가명정보를 통계작성, 과학적 연구 등의 목적일 경우 정보주체의 동의 없이 활용할 수 있도록 하는 것이 골자다. 

본 세미나에서는 동시통역이 제공되며, 참가신청은 아래 링크를 통해 할 수 있다. 

** 참가신청하기: https://forms.gle/cZT5xBC9Fviy7QLg9

문의: 오픈넷 사무국 02-581-1643, [email protected]

아시아 태평양 지역 40여 국의 법조인과 법조 관련 단체로 구성된 로아시아(LAWASIA)는 2020년 6월 2일부터 3주간 매주 화요일에 ‘로아시아 인권 웨비나 시리즈’를 개최했습니다. 김가연 변호사는 제2부 “코로나19 기간 중 정부 책임 : 시민의 알권리(Government Accountability during COVID-19: The Citizens’ Right to Know)”에 발제자로 참여해 한국의 상황에 대해 이야기했습니다.

로아시아 인권 웨비나 페이지 바로 가기

Korea discovered its first COVID-19 case on January 20th. The Korean Centres for Disease Control and Prevention immediately organized a meeting with bio-medicine companies to ask them to develop test kits. The test kits became available in three weeks. Then from February 20th, the number of cases began to explode in and around the City of Daegu to nearly 9,000 cases in less than a month, making Korea one of the most dangerous countries in the world. The size and speed of the outbreak seemed to be uncontrollable. The government, however, continued to 1) rigorously trace the prospective cases, 2) test for free, and 3) treat for free, everyone regardless of nationality. The government has also implemented robust measures to coordinate closely with all cities in the curbing of the spread of the virus, including the installation of the famous drive-through and walk-through testing centers.

One of the principles for the Korean government to respond to COVID19 is full transparency. So, the Korean government disclosed not only travel routes of infected persons but also information on spreading patterns of the disease and response to it from the beginning of the disease. Our Foreign Minister Kang, Kyung-wha mentioned that the basic principles are openness, transparency and fully keeping the public informed. Korea has a very good health care system to begin with and the system is highly wired. Fully utilizing that, our government has dealt with the outbreak from the very beginning with full transparency and that’s how the government gained public trust and support. 

However, such full transparency principle had side effects, especially regarding the disclosure of the travel routes of infected persons. As each local government has already disclosed when and whereabouts of infected persons with other personal information such as gender and age, individuals are being harmed. It caused groundless accusations, speculations, ridicule, and hate speech against the patients. People even say that they are more scared of being stigmatized by the disclosure than getting infected. 

For example, a typical emergency alert says, “A 43-year-old man, resident of Nowon district, tested positive for coronavirus,” “He was at his work in Mapo district attending a sexual harassment class. He contracted the virus from the instructor of the class.” A series of alerts then follow such as where the men had been, including a bar in the area until 11:03 at night. These alerts arrive all day, every day, telling you where an infected person has been and when. You can also look up the information on the Ministry of Health and Welfare website or local governments’ websites. This disclosure measure is carried out according to the Infectious Disease Control and Prevention Act and the Personal Information Protection Act (PIPA).

On March 9, the National Human Rights Commission of Korea (NHRCK) said that “it is hard to deny the need to disclose a certain amount of information including location and time of the visit by the infected person to prevent the spread of infectious disease, but disclosing more personal data than necessary are resulting in human rights violations.”

Accordingly, the Korea Centers for Disease Control and Prevention released the disclosure guidelines on March 14. According to the guidelines, the location and means of travel should be disclosed only when there is a contact of non-patient with a patient, and personal data such as the address or company name, shouldn’t be disclosed. However, the guidelines still allow the disclosure of travel routes of patients. And other personal data of patients, such as gender, last name, age, occupation, nationality, and religion, are still being disclosed. 

Although It’s necessary to disclose some information for the citizens’ right to know’s sake, we need to be careful not to violate the human rights of patients. For example, information about whether the patient entered Korea after visiting a specific country would be more important than the patient’s nationality. Likewise, more relevant is whether a person had a meal together with a patient is more important than whether the person is the patient’s spouse, daughter, son-in-law, or sister-in-law. Therefore, Korean civil society is requesting the government and the press to minimize the disclosure of unnecessary personal information that could be used to identify and stigmatize individuals.