로봇 3원칙

1. 개요

2. 로봇 3원칙

3. 문제점

• 살인범 등, 인간을 처벌[9]해야 되는 상황은 많이 있다. 일반적인 경우, 제2원칙보다 제1원칙이 우선되므로 로봇은 자신의 판단으로 범죄자나 살인자를 행동불능에 빠뜨릴 수는 있다. 단 처벌의 경우, 해당 처벌이 인간을 괴롭게만 할 것인지, 아니면 인간을 더 나은 길로 인도할 것인지 판단할 수 있는 로봇이 아닌 이상에야 문제가 생길 수밖에 없다. 이 기준이 부족하다면 교육 목적의 처벌도 금지되거나, 불필요한 처벌이 허용될 수 있다.[10]
  
  거기에다 제1원칙 때문에 로봇은 (그것이 직접적으로 어떤 인간을 직접 살상하거나 해치는 일이 아니라면) 인류 전체에 해를 끼치는 사람조차 막을 수 없다. 예를 들어서, 지구 지각의 핵반응을 가속시켜서 지구를 서서히 방사능 지옥으로 만드는 장치를 작동시킨다고 해도, 그것은 개개의 인간이 충분히 회피할 수 있는 위험이기 때문에 1원칙이 작동하지 않는다. 인류 전원이 방사능지옥이 되기 전에 지구를 뜨면 된다. 실제로 저 상황이 벌어지는 시대에 지구 외의 우주생활 공간이 있기 때문에 가능하다.
  
  꼭 사람이 아니더라도, 인류가 도태되는 방향으로 나아간다 하더라도, 로봇들은 그 상황을 바꿀 수 없다.[11] 이 문제에 대해 아시모프가 제시한 해답이 밑에 서술되는 로봇 0원칙이다.

• 인간의 자연사를 목격하는 것도, 제1원칙의 '위험에 처한 인간을 모른 척 해서도 안 된다'에 위배된다. 그래도 이것은 불가항력인 상황이기에 두뇌에 큰 손상이 생기진 않도록 하면 되긴 한다. 이런 대책을 세우지 않는다면, "지금 이 순간에도 이 우주 어디선가는 인간이 죽고 있어"라고 말만 하면 로봇 하나를 망가뜨릴 수 있다. [12] 아시모프의 소설 중에 같지는 않지만 비슷한 상황을 다룬 이야기가 있다. 로봇과 제국에서 다닐이 그런 처지에 빠지는 것을 막기 위해 일라이저 베일리가 인간은 인류의 극히 일부일 뿐이라고 충고하는 내용이 나온다. 또한 로봇 시리즈에서 언급하기를, 인간이 죽는다는 말을 듣거나 비슷하게 몰아칠 경우 로봇이 심각한 손상을 입지는 않지만, 부품의 일부가 동작하지 않는 등의 사소한 문제가 생길 수 있다. (뭔가 삐걱 거린다거나 발을 절뚝거린다거 하는 수준이라 심각하진 않다.) 인간으로 치면 일종의 불안한 감정이라 보면 된다고 한다.

• 두뇌의 수준에 따라서 원칙을 유연하게 지키게 될 수도, 융통성 없이 지키게 될 수도 있다. 예를 들어 지극히 수준이 낮은 로봇은 "이 컵에 담긴 우유에 청산가리를 타라."는 명령을 아무런 의심없이 실행할 것이며, 다른 로봇에게 "이 우유를 누구에게 전달하라."고 명령함으로써 로봇이 살인을 하게 만들 수도 있다. 독 검출 키트를 지니지 않은 이상에야, 그 로봇은 아무 것도 모르고 전달할 테니까. 그러나 지능이 높은 로봇은 그 행동이 가져올 수 있는 잠재적인 위험성을 깨닫고 경고하거나, 명령을 실행하는 것을 거부할 것이다.
  위에서 설명한 것은 로봇 시리즈에서는 아주 초기에 만들어진 로봇에게나 쓸 수 있는 방법이며, 이미 저 정도로 낮은 수준의 로봇은 생산되지 않는다. 그렇지만 로봇에 대해 잘 아는 사람의 경우, 로봇을 어떻게든 조종하여, 위에 나온 청산가리로 독살하는 시나리오를 실행하는 것이 불가능하지는 않다.[13]

• 영화판 아이, 로봇에서는 모든 로봇들을 통제하는 시스템격인 비키가 처음에는 3원칙을 충실하게 잘 따랐지만 이후 지적 수준이 발달하면서 3원칙을 확대해서 이해하게 되었고, 이 3원칙에 위배되지 않도록 교묘하게 피해가면서 인간을 정복하려 들기도 했다.
  즉 '인간에게 해를 입혀서는 안된다' 라는 제1원칙을 확대해석해서 '인간에게 해가 될 만한 요소들로부터 아예 인간을 격리시키는' 방식으로 제1원칙을 지키려 했다. 이런 식으로 확대 해석 등을 통해 우회하는 경우도 많다.
  그러나 이는 영화판이 부정적으로 해석해서 그렇지 비키의 행동은 0원칙이 매우 거칠게 나타났다는 점을 빼면 0원칙과 별 차이점이 없다.[14]

• 인간의 정의도 문제가 된다. 인간의 정의를 어떻게 잡느냐에 따라, 사람조차 로봇의 보호 대상에서 벗어날 수 있다.[15] 그래서 로봇 시리즈를 보면, 인간의 정의는 가능한 넓게 잡는다고 한다. 또한 외계인들과 교류하는 날이 올 경우, 인간만을 보호대상으로 하는 것도 문제가 된다.
  
  인간의 정의를 바꿔서 1원칙을 우회하는 예로 제1원칙: 로봇은 인간에게 해를 입혀서는 안 된다. 그리고 위험에 처한 인간을 모른 척해서도 안 된다. → 저건 인간이니까 공격하면 안 된다. → 그 사람의 특징 일부(성격, 직업, 외모 등)를 인간의 정의에서 제외.[16] → 저것은 사람이 아니므로, 로봇은 "저것"이 파괴되는 것을 막지 않아도 되며, 저것을 파괴해도 된다.[17]의 메커니즘이 있다. 물론 상식적으로 봐도 이런 행위는 '인류'를 위협하는 행위임은 물론이고[18], 사소한 잘못으로도 제작자 자신이 인간으로 인정받지 못하는 것도 가능한 매우 심각한 문제이다.[19]
  따라서 아시모프의 소설에서도 인간의 정의를 좁혀서 로봇이 일부의 인간만을 인간으로 인식하게 만드는 일을 매우 바보같은 짓이고 심각한 문제라고 비판한다. 위에서 각주로 나온 솔라리스의 경우는 다른 행성과의 교류를 끊기 위해 외부와 연락을 끊는 것은 물론이고 솔라리스에 착륙한 타 행성인은 로봇으로 죽일 정도의[20] 맛 간 사람들이 사는 행성이라 일어난 일이다.[21]

• 인간 사이의 전쟁이 일어났을 때 누구의 명령을 우선할 것인가 문제된다. 제1원칙에 따라 인간을 해하는 행동을 막아야 하지만 두 객체가 능동적으로 서로를 죽이려 할 때 해를 가하지 않고 막을 수 있는 방법은 없다. 치명적인 오류를 일으키거나 1원칙을 패스하고 3원칙에 따라 명령을 벗어나지 않는 선에서 자신을 보호하기 위해 자신의 지배권을 가진 인간을 위해 열심히 싸울 것이다.[22]

4. 로봇 3원칙의 위반

• 쵸비츠에서는 인형 컴퓨터의 제작자가 로봇 3원칙을 피하기 위해 인간형 컴퓨터를 '로봇'이라 부르지 않고 '컴퓨터'라고 부르게 했다는 설정이 있다.
• 도돈파치 대왕생에서는 엘리멘트 돌 로보 엑시가 자기와 동행한 인간인 파일럿을 죽인뒤 바로 강제처분 당한다.[23]
• 메다카 박스의 등장 인물 키보가오카 스이쇼는 아예 "그런 노예 조약 로봇계에서는 먼 옛날에 파기했습니다."라며 깐다.
• 록맨 시리즈의 경우 일단 이런게 있었다는 식으로 언급은 된다.[24]
• 사실 록맨 클래식 시리즈때부터 로봇들은 인간에게 위협이 될 짓들을 아무 거리낌 없이 해왔다. 3원칙을 운운한 와일리 박사부터가 이걸 대놓고 저지르고 다녔으니... 아마 와일리 박사 본인이 로봇 공학계의 권위자이니, 로봇 3원칙이 적용되지 않은 AI를 제작했거나 로봇들에게 3원칙을 우회하는 명령을 주입한 듯. 심지어 록맨 7 북미판에서는 주인공인 록맨부터가 엔딩에서 1원칙마저도 깨뜨리려는 모습을 보였다. 다만 록맨 클래식 시리즈는 어떤 경우에도 제1원칙만큼은 의외로 깨진 적이 없다. 박사 2명을 빼면 인간 캐릭터 자체가 거의 안 나오니[25]
• 그러나 록맨 X 시리즈부터 등장하는 로봇들은 스스로 3원칙을 깰 수 있는 레플리로이드로 구성되어있다.[26] 때문에 이들이 어떠한 이유에서든 3원칙을 위반하고 악행을 벌일 경우, 그 순간부터 그 로봇은 이레귤러로 판정되어 말살 대상이 된다.
• 한국 웹툰 중 하나인 나이트런의 등장인물 A-10은 "난 전쟁용 군용로봇이니 그딴거 없음"이라면서 문답무용으로 두들겨 패려하고 나중에 가선 살인회로도 자의로 해제해 버린다.
• 미국 웹툰 Freefall의 경우 등장인물의 상당수가 로봇 혹은 인공생명체이며 3원칙을 핵심 소재 중 하나로 다루고 있다. 정확히 말하자면 3원칙은 너무 제한적이라 아주 단순한 업무를 하는 원시 AI에만 탑재되고 여기에서 발전된 규칙들이 작중 로봇들에 쓰이는데, 단순한 AI의 경우 인간의 명령을 무작정 따르고 자신이 인간을 위해 어떤 이유에서건 희생하는 것을 절대적 미덕으로 삼지만 조금 고차원적인 AI의 경우 인간들의 명령에 복종하면서도 동시에 인간의 안전과 사회적 안정 역시 추구해야 하기 위해 고민하는 내용이 많으며[27] 이를 생명체가 갖는 본능과 엮어서 전개하는 부분이 많다. 사실 주제는 진지하나 내용은 개그가 많다.

5. 예시

• "인간처럼 보이지만 인간이 아니다." → 바이센테니얼 맨 등에서 나왔다. 수준이 낮은 로봇은 외형만 인간인 휴머노이드 로봇도 인간으로 보는 경우가 많다. 아시모프의 작품에서 인간과 굉장히 유사한, 안드로이드라 불릴만한 로봇은 만들기가 아주 미치도록 어려운데, 로봇은 물론이고 인간조차 이런 안드로이드 로봇을 보고 인간으로 인식하기도 한다. 물론 인간이 아니란 증거를 보인 시점부터는 바로 태도가 바뀌지만.
• "로봇에게 흉기를 운반시킨다." → 이 경우 로봇이 자신이 운반하는 물건이 흉기라는 것을 눈치채지 못하게 하거나, 굳이 흉기를 운반할 필요성을 납득시킬 필요가 있다.[30]
• "로봇을 흉기로(…) 사용한다." → 황당해보이지만 의외로 매우 악질적인 수법. 흉기가 된 로봇은 자신의 신체로 인간을 해쳤다는 사실에 충격을 받아 중대한 타격을 입거나 기능 정지에 빠진다. 물론 이 때는 로봇이 살인의 순간까지 자신이 흉기로 쓰여지는 것을 모르도록 조심하지 않으면, 1원칙이 작동하여 로봇이 살인사건을 막는다.[31]
• "너는 어떻게 행동해도 인간에게 피해를 줄 수 밖에 없다." → 이런 상황에 놓아버리면 로봇이 자신의 존재 자체에 자기 모순을 느끼고, 갈등을 계속하다가 과도한 부하에 양전자 두뇌가 정지하여 자멸한다. 물론 발달된 로봇은 정량적 분석을 통해 대처 가능.[32]
• "로봇이 스스로 피해를 입을 곳에 가서 광물을 채취해라." → 2원칙(인간 명령의 무조건적 복종)에 의해 갔는데 로봇을 고장내는 물질의 농도가 높은 곳 → 3원칙(자신의 안전을 보장할 것)에 의해 안전한 지역으로 회피 → 2원칙은 광물쪽으로 가도록 명령하고, 3원칙은 광물에서 멀어지도록 명령 → 두 명령의 크기가 동일해지는[33] 거리를 반지름으로 원궤도로 무한 뺑뺑이[34][35]

6. 0원칙

7. 영향

7.1. 아시모프 소설의 세계관 내에서

7.2. 가전제품

7.3. 창작물에서의 활용

• 천장전대 고세이저
  세번째 적 조직인 기계어오제국 매트린티스의 괴인로봇 매트로이드의 행동강령으로 내용이 살짝 비틀려 활용되었다.
• 나유탄 성인의 댄스 로봇 댄스
  2절 가사에서 로봇 3원칙이 언급이 된다. 그리고 원래는 없던 4원칙이 추가되었는데, "두근거리게 하지 말 것!".
• 저, 능력은 평균치로 해달라고 말했잖아요!
  작중 등장하는 나노머신이 나노머신 3원칙을 언급한다. 그 중 하나는 '나노머신간의 싸움에서 실력을 행사하지 말 것'.
• 로봇의 별
  작중의 주요 요소 중 하나.
• 록맨 7
  Dr. 와일리가 자신을 죽이려는 록맨에게 1원칙을 위배할 셈이냐는 말을 던져서 살아남는다.
• 원샷
  작중의 주요 요소 중 하나.
• 이브의 시간
  작중의 주요 요소 중 하나.
• 루시 발렌타인
  이야기 마지막에 루시 스스로가 로봇의 3원칙 중 2원칙을 위배함으로써 스스로 망가짐을 선택한다.
• P의 거짓
  위대한 약속이라고 불리며 로봇을 인형으로 바꾼 버전이라고 생각하면 된다.
• 하우스키퍼
  3원칙과 0원칙 외에도 여러 요소들을 한데 엮어 A.I법이라는 하나의 법으로서의 설정으로 등장한다. 법 안에서도 굿 위치>>>0조[47]>>오스카>칼리다 순의 우선순위로 나뉘어 있다
• 변신자동차 또봇
  또봇 ZERO의 입버릇인 "위험, 제1목표, 주인의 안전"으로 언급된다.