© Amnesty International / Flor Montero

11월 12일, 스위스 제네바에서는 세계 각국이 모여 ‘살인 로봇’에 대해 논의했다. 국제앰네스티는 전장과 치안유지활동 현장에서 ‘살인 로봇’의 치명성에 상관없이 그 사용을 금지하는 세계적인 규제 장치를 마련하기 위해 공식적인 협상 절차를 진행할 것을 촉구하고 있다. 이러한 규제가 반드시 필요한 10가지 이유는 다음과 같다.

1. ‘살인 로봇’은 더는 공상과학소설 속에만 등장하는 것이 아니다.

살인 로봇은 일단 작동하면 조종하는 사람 없이도 인간 목표물을 선정하고, 공격하고, 살해하거나 상처 입힐 수 있는 무기 시스템이다. ‘전자동무기시스템’(AWS) 으로도 알려진 이 무기는 한때 디스토피아를 그린 공상과학소설에나 등장하는 소재였지만, 머지않아 실존하게 될 예정이다.

이미 유사한 기술들도 많다. 예를 들어 덜 치명적인 무기를 탑재할 수 있는 드론이 개발되어 2011년 미국 텍사스 보안관이 국토안전부 허가를 받아 이를 구입하기도 했다. 올해 8월 미국의 노스다코타 주는 드론을 이용해 원거리에서 고전압 전기충격을 가하는 것이 합법화한 첫 번째 주가 되었다.

2. 무책임한 정부에 의해 탄압의 도구로 공공연히 사용될 것이다.

일부 국가는 ‘살인 로봇’을 통해 전장에 군인을 배치하거나 위험한 치안유지 작전에 경찰관을 배치하는 위험을 줄일 수 있다고 주장한다. 그렇게 되면 정부가 새로운 무력분쟁을 일으키거나, 시위 진압 같은 경우에 무력을 사용하는 것이 더욱 쉬워질 것이다. 군인과 경찰관은 더욱 안전해질지 모르나, 이렇게 무력사용의 장벽이 낮아지게 되면 더 많은 분쟁과 무력 사용으로 이어질 수 있고, 결과적으로 더 많은 민간인이 희생될 위험이 있다.

또한 ‘살인 로봇’ 사용을 지지하는 사람들은 감정이 없는 로봇이기 때문에 공포와 복수심, 분노, 인적 오류 등 인간의 부정적인 면이 배제될 것이라고 주장한다. 인간의 감정은 민간인을 살해하거나 해치지 않도록 하는 억제할 수 있으나 로봇은 인간에 대해 무차별적이거나 임의적인 공격을, 심지어는 대규모로도 가할 수 있도록 설정되기 쉽다. ‘살인 로봇’은 명령을 거부함으로써 때로는 생명을 구하는 것도 불가능할 것이다. 예를 들어 2011년 이집트에서 대규모 시위가 계속될 당시 군은 시위대를 향해 발포하는 것을 거부했다. 인간적인 연민과 법치주의에 대한 존중이 있었기에 가능한 행동이었다.

3. 인권법과 국제경찰력사용기준을 따르지 않을 것이다.

국제경찰력사용기준은 사망 또는 심각한 부상의 위협이 임박했을 때 이를 방어하기 위한 경우를 제외하고 화기의 사용을 금지하고 있으며, 무력은 필요한 가장 최소한의 수준만 사용해야 한다고 명시하고 있다. 어떤 사람이 다른 사람을 살해하기 직전이라는, 직접 임박한 위협이 있음을 기계가 사람처럼 판단하고 이러한 공격을 저지하는 데 필요한 최소한의 수준의 적절한 무력을 사용하는 모습은 상상하기 힘들다. 그러나 이러한 판단은 무기를 사용하는 경찰관에게는 무엇보다도 가장 중요한 것이다. 경찰은 대부분의 경우 무력을 동원하기 전에, 유엔 기준에 따라 우선 설득과 협상, 단계적 축소와 같은 비폭력적인 수단을 써야 한다.

효과적으로 치안을 유지하는 것은 단순히 무력을 사용하는 것보다 훨씬 고차원적인 것으로, 공감이나 부정과 같은 인간적인 기술과 주로 유동적이고 예측 불가능한 상황을 평가하고 대응할 능력이 필요하다. 이러한 능력을 단순한 알고리즘으로 압축시킬 수는 없다. 매 순간 변화하는 상황을 판단하고, 생명권과 신체의 완전성을 정당하게 보호하기 위한 제일 나은 방법을 찾아내는 것은 기계로서는 전혀 수행할 수 없는 일이다. 경찰관이 특정 상황에 대해 최소한의 무력을 사용하겠다고 결정하기까지는 위협의 성질에 대한 직접적이고 인간적인 판단과 무기에 대한 충분한 통제력이 필요하다. 간단히 말해, 이처럼 삶과 죽음이 달린 결정은 절대 기계가 대신해서는 안 된다.

4. 전쟁법을 따르지 않을 것이다.

국제인도법과 전쟁법의 세 가지 중추는 구별과 비례의 원칙, 예방 조치이다. 군은 반드시 전투원과 비전투원을 구별해야 하고, 민간인 사상자와 민간 건물 피해는 예상되는 군사적 이익보다 과도해서는 안 되며, 분쟁의 모든 당사자는 민간인 보호를 위해 충분한 사전 예방 조치를 취해야 한다는 것이다.

이는 모두 명백히 인간이 해야 할 판단이다. 로봇은 사람의 행동 기저에 있는 의도를 분석하거나, 공격의 비례 또는 필요성에 대한 복잡한 판단을 내릴만한 능력이 없다. 전쟁에 휘말린 민간인에 대한 연민과 공감은 말할 필요도 없다.

5. 로봇의 행동에 대한 책임을 누가 질 것이냐는 문제가 발생한다.

로봇이 불법 행동을 한다면 어떻게 처벌해야 할까? 프로그래밍과 생산, 배치에 참여한 사람들뿐만 아니라 고위 관계자와 정치적 지도자들에게도 책임을 물을 수 있을 것이다. 그러나 ‘살인 로봇’이 어떤 상황에서 어떻게 대응할지를 정확히 예측한다는 것은 불가능한 일이기 때문에, 책임성 공백이 생겨날 가능성이 있다.

이미 지금도 드론 공격으로 인한 불법 살인을 조사하는 경우는 거의 없으며, 책임자가 처벌받는 경우는 더더욱 드물다. 국제앰네스티는 파키스탄에서 이루어진 미국의 드론 공격에 대해 보고서를 발표하고, 미국 정부의 드론을 이용한 살인이 베일에 싸여 있으며, 정부가 이러한 공격의 국제법적 근거에 대해 해명하기를 거부했다고 폭로한 바 있다. 또한, 파키스탄 선주민 지역에 대한 공격 역시 인권을 침해했을 가능성이 있다고 우려를 제기하기도 했다.

드론 공격에 대해 책임을 묻는 것이 어렵다는 사실은 이미 충분히 증명되었는데, 이에 더해 목표 설정과 공격 결정을 모두 직접 수행하는 ‘살인 로봇’이 활동하게 될 경우 전장과 치안유지 현장에서 불법 살인으로 인한 사상자가 더욱 증가하는 모습을 지켜보고만 있어야 할 가능성이 크다.

6. ‘살인 로봇’의 개발로 또 다른 무기 경쟁이 촉발될 것이다.

중국, 이스라엘, 러시아, 한국, 영국, 미국은 현재 더욱 자동화된 전투 시스템을 개발하고 있는 국가들이다. 다양한 국가의 수많은 기업은 치안유지작전에서 최루가스와 고무탄, 전기충격 다트를 발사할 수 있는 반자동 로봇 무기를 이미 개발한 상태다.

무기 개발의 지난 역사를 돌아보면 각국 정부가 이러한 시스템을 서로 개발하고 확보하려 하면서 널리 보급되고, 이로 인해 다시 최첨단 무기 경쟁이 시작되는 것은 시간문제일 뿐임을 알 수 있다. 이러한 무기들은 부도덕한 정부의 무기고에 처박히게 될 것이고, 결국 반정부 무장단체와 범죄조직 등 비국가 행위자의 손에 들어가게 될 것이다.

7. 기계를 이용해 살해하고 무력을 사용하는 것은 인간의 존엄성에 대한 모욕이다.

로봇에 생명이 달린 결정을 내릴 수 있도록 허용하는 것은 기본적인 윤리에 어긋나는 것이다. 감정과 공감, 연민이 없는 로봇을 이용하는 것은 생명권과 존엄성을 침해하는 것이다. 사람을 죽이는 데 기계를 이용하는 것은 인간의 존엄성에 대한 가장 큰 모욕이다.

8. ‘살인 로봇’이 한 번 배치되면, 이를 막는 것은 거의 불가능할 것이다.

드론 사용이 무분별하게 증가하고 있는 점에서도 나타나듯이, 무기 시스템이 일단 사용되기 시작하면 이를 규제하거나 그 사용을 통제하는 것이 매우 어렵거나 거의 불가능하게 된다.

인터셉트(the Intercept)가 최근 펴낸 ‘드론 페이퍼(Drone Papers)’에서는 미국의 드론 프로그램의 충격적인 현실을 폭로했다. 이 문서에 따르면 5개월간 미국의 드론 공격으로 인한 사망자 중 90%가 의도치 않은 피해자였다. 미국 정부가 오랫동안 드론 프로그램을 투명하게 운영하지 못하고 있음을 더욱 분명히 보여주는 사실이다.

무기화된 드론의 사용을 철폐하기엔 이미 너무 늦은 듯하지만, 민간인의 희생을 막기 위해서는 이를 철저하게 통제해야만 한다. ‘살인 로봇’은 이러한 불법 살인의 위험을 더욱 증폭시킬 것이다. 이러한 로봇이 사전에 금지되어야 하는 이유다. ‘일단 두고 보자’는 식의 태도를 보인다면 이러한 시스템의 개발에 더욱 많은 투자가 이루어지고, 신속하게 보급될 것이다.

9. 수많은 로봇 기술 전문가들이 ‘살인 로봇’의 금지를 촉구했다.

2015년 7월, 세계 정상급 인공지능 관련 연구자와 과학자, 관련 전문가들이 모여 ‘살인 로봇’의 전면적인 금지를 촉구하는 공개서한에 서명했다.

지금까지 이 서한에 서명한 사람은 2,587명으로, 인공지능 및 로봇 기술 관련 단체와 전문가집단의 전 현직 대표 14명도 함께 참여했다. 그중에서도 구글 딥마인드(google DeepMind)의 데미스 하사비스, 테슬라(Tesla)의 CEO 엘론 머스크, 애플(Apple)의 공동설립자 스티브 워즈니악, 스카이프(Skype)의 공동설립자 얀 탈린, 스티븐 호킹 교수 등의 참여가 눈에 띈다.

과학자와 법률 전문가 수천 명이 ‘살인 로봇’의 개발과 사용 가능성에 대해 이렇게 우려를 표하고, 살인 로봇 금지를 촉구하는 캠페인에 동의하고 있는데, 국가 정부들은 무엇이 더 필요하단 말인가?

10. 지난 2년간 논의는 많았으나 실현된 것은 거의 없었다.

2013년 4월 ‘살인 로봇’ 문제가 처음 수면 위로 제기된 이후로 이 사안에 관해 의미 있는 국제적 논의는 스위스 제네바에서 열린 유엔 특정재래식무기금지협약 회의를 통해 비공식적으로 이루어진 2주간의 전문가 회담이 유일했다. 이처럼 심각한 위험에 투자된 시간이 이렇게나 적고, 지금까지 거의 아무런 성과도 내지 못했다는 것은 말도 안 되는 일이다.

국제앰네스티가 협력단체와 함께 치명적인 전자동 무기 시스템의 개발과 배치, 사용을 전면 금지할 것을 촉구하는 ‘살인 로봇 금지 캠페인’만이 유일하고 현실적인 해결책이다.

국제사회는 이처럼 심각한 세계적 위협을 더는 내버려둬서는 안 된다. 지금이야말로 살인 로봇의 금지를 위해 진지하게 임해야 할 때다.

영어전문 보기

Ten reasons why it’s time to get serious about banning ‘Killer Robots’

By Rasha Abdul Rahim, Advocate/Adviser on Arms Control, Security Trade & Human Rights at Amnesty International

Governments are meeting today in Geneva to discuss what to do about “Killer Robots”. Amnesty International is calling for the creation of a formal negotiation process with a view to establishing a new global ban on lethal and less-lethal “Killer Robots”, both on the battlefield and in policing operations. Here are 10 reasons why such a ban is essential.

1. “Killer Robots” will not be a thing of science fiction for long

Killer robots are weapons systems which, once activated, can select, attack, kill and injure human targets without a person in control. Once the stuff of dystopian science fiction, these weapons – also known as “fully autonomous weapon systems” (AWS) – will soon become fact.

Many precursors to this technology already exist. The Vanguard Defense Industries’ ShadowHawk drone, for example, can be armed with a grenade launcher, a shotgun with laser designator, or less-lethal weapons such as a Taser or bean-bag round launcher. In 2011 the office of the Sheriff in Montgomery County, Texas, purchased an unarmed ShadowHawk with a grant from the Department of Homeland Security. In August this year North Dakota became the first US state to legalize the use of drones that can be used remotely to incapacitate people with high-voltage electric-shocks.

2. They will be openly used for repression by unaccountable governments

Some governments argue that “Killer Robots” could reduce the risks of deploying soldiers to the battlefield, or police on dangerous law enforcement operations. Their use would therefore make it easier for governments to enter new armed conflicts and use force in, for example, policing of protests. Though soldiers and police might be safer, this lowered threshold could lead to more conflict and use of force and, consequently, more risk to civilians.

Proponents of “Killer Robots” also argue that their lack of emotion would eliminate negative human qualities such as fear, vengeance, rage and human error. However, human emotions can sometimes act as an important check on killing or injuring civilians, and robots could easily be programmed to carry out indiscriminate or arbitrary attacks on humans, even on a mass scale. “Killer Robots” would be incapable of refusing orders, which at times can save lives. For example, during mass protests in Egypt in January 2011, the army refused to fire on protesters, an action that required innate human compassion and respect for the rule of law.

3. They would not comply with human rights law and international policing standards

International policing standards prohibit the use of firearms except in defence against an imminent threat of death or serious injury, and force can only be used to the minimum extent necessary. It is very difficult to imagine a machine substituting human judgment where there is an immediate and direct risk that a person is about to kill another person, and then using appropriate force to the minimum extent necessary to stop the attack. Yet such a judgement is critically important to any decision by an officer to use a weapon. In most situations police are required by UN standards to first use non-violent means, such as persuasion, negotiation and de-escalation, before resorting to any form of force.

Effective policing is much more than just using force; it requires the uniquely human skills of empathy and negation, and an ability to assess and respond to often dynamic and unpredictable situations. These skills cannot be boiled down to mere algorithms. They require assessments of ever-evolving situations and of how best to lawfully protect the right to life and physical integrity that machines are simply incapable of. Decisions by law enforcement officers to use minimum force in specific situations require direct human judgement about the nature of the threat and meaningful control over any weapon. Put simply, such life and death decisions must never be delegated to machines.

4. They would not comply with the rules of war

Distinction, proportionality and precaution are the three pillars of international humanitarian law, the laws of war. Armed forces must distinguish between combatants and non-combatants; civilian causalities and damage to civilian buildings must not be excessive in relation to the expected military gain; and all sides must take reasonable precautions to protect civilians.

All of this, clearly, requires human judgement. Robots lack the ability to analyse the intentions behind people’s actions, or make complex decisions about the proportionality or necessity of an attack. Not to mention the need for compassion and empathy for civilians caught up in war.

5. There would be a huge accountability gap for their use

If a robot did act unlawfully how could it be brought to justice? Those involved in its programming, manufacture and deployment, as well as superior officers and political leaders could be held accountable. However, it would be impossible for any of these actors to reasonably foresee how a “Killer Robot” would react in any given circumstance, potentially creating an accountability vacuum.

Already, investigations into unlawful killings through drone strikes are rare, and accountability even rarer. In its report on US drone strikes in Pakistan, Amnesty International exposed the secrecy surrounding the US administration’s use of drones to kill people and its refusal to explain the international legal basis for individual attacks, raising concerns that strikes in Pakistani Tribal Areas may have also violated human rights.

Ensuring accountability for drone strikes has proven difficult enough, but with the extra layer of distance in both the targeting and killing decisions that “killer robots” would involve, we are only likely to see an increase in unlawful killings and injuries, both on the battlefield and in policing operations.

6. The development of “Killer Robots” will spark another arms race

China, Israel, Russia, South Korea, the UK, and the USA, are among several states currently developing systems to give machines greater autonomy in combat. Companies in a number of countries have already developed semi-autonomous robotic weapons which can fire tear gas, rubber bullets and electric-shock stun darts in law enforcement operations.

The past history of weapons development suggests it is only a matter of time before this could spark another hi-tech arms race, with states seeking to develop and acquire these systems, causing them to proliferate widely. They would end up in the arsenals of unscrupulous governments and eventually in the hands of non-state actors, including armed opposition groups and criminal gangs.

7. Allowing machines to kill or use force is an assault on human dignity

Allowing robots to have power over life-and-death decisions crosses a fundamental moral line. They lack emotion, empathy and compassion, and their use would violate the human rights to life and dignity. Using machines to kill humans is the ultimate indignity.

8. If “Killer Robots” are ever deployed, it would be near impossible to stop them

As the increasing and unchecked use of drones has demonstrated, once weapons systems enter into use, it is incredibly difficult or near impossible to regulate or even curb their use.

The “Drone Papers” recently published by The Intercept, if confirmed, paint an alarming picture of the lethal US drones programme. According to the documents, during one five-month stretch, 90% of people killed by US drone strikes were unintended targets, underscoring the US administration’s long-standing failure to bring transparency to the drones programme.

It appears too late to abolish the use of weaponized drones, yet their use must be drastically restricted to save civilian lives. “Killer Robots” would greatly amplify the risk of unlawful killings. That is why such robots must be pre-emptively banned. Taking a ‘wait and see’ approach could lead to further investment in the development and rapid proliferation of these systems.

9. Thousands of robotics experts have called for “Killer Robots” to be banned

In July 2015, some of the world’s leading artificial intelligence researchers, scientists, and related professionals signed an open letter calling for an outright ban on “Killer Robots”.

So far, the letter has gathered 2,587 signatures, including more than 14 current and past presidents of artificial intelligence and robotics organizations and professional associations. Notable signatories include Google DeepMind chief executive Demis Hassabis, Tesla CEO Elon Musk, Apple co-founder Steve Wozniak, Skype co-founder Jaan Tallin, and Professor Stephen Hawking.

If thousands of scientific and legal experts are so concerned about the development and potential use of “Killer Robots” and agree with the Campaign to Stop Killer Robots that they need to be banned, what are governments waiting for?

10. There has been a lot of talk but little action in two years

Ever since the problems posed by “Killer Robots” were first brought to light in April 2013, the only substantial international discussions on this issue have been two weeklong informal experts’ meetings in Geneva at the conference on the UN Convention on Certain Conventional Weapons (CCW). It is ludicrous that so little time has been devoted to so serious a risk, and so far little progress has been made.

For Amnesty International and its partners in the Campaign to Stop Killer Robots, a total ban on the development, deployment and use of lethal autonomous weapon systems is the only real solution.

The world can’t wait any longer to take action against such a serious global threat. It’s time to get serious about banning Killer Robots once and for all.