| 톰 크루즈가 아이언맨이 된 영상[1] |
[clearfix]
1. 개요
딥페이크(deepfake)란 인공지능을 기반으로 활용한 인간 이미지 합성 기술이다. 기존에 있던 인물의 얼굴이나, 특정한 부위를 영화의 CG처리처럼 합성한 영상편집물을 총칭한다. 과거 인물의 사진이나 영상을 조악하게 합성해 게시하던 것이 디지털 기술과 인공지능의 발전으로 몇 단계 정교해진 결과라 볼 수 있다. 원리는 다음과 같다. 합성하려는 인물의 얼굴이 주로 나오는 고화질의 동영상을 통해 딥러닝하여, 대상이 되는 동영상을 프레임 단위로 합성시키는 것이다. 병렬연산장치[2]의 성능에 따라 속도와 품질이 결정된다.2. 특징
머리 외곽선을 통째로 따서 합성하는 것이 아니고, 안면윤곽 안쪽 부분만 피부톤을 맞춰 바꿔치기하는 방식. 즉, 눈코입 부분만 합성하는 것이다. 사람의 인상에는 헤어스타일과 안면윤곽도 크게 작용하며, 합성 대상이 원본과 확연히 다른 안면윤곽을 가지고 있다면 합성 자체는 자연스럽게 이루어졌다 하더라도 그냥 제3의 인물처럼 보일 수 있다.또한, 딥 러닝 방식의 특성상 주어지지 않은 정보에 대해서는 제대로 대응하지 못한다. 즉, 아무런 방해물이 없는 상태의 일반적인 얼굴 표정은 잘 합성해내지만, 얼굴 근처에 다른 물체가 있다거나, 얼굴 자체가 프레임에서 일부 잘려나갔거나, 일반적으로 잘 볼 수 없는 매우 특이한 표정을 지었다거나 하면 대충 덮어씌운 듯한 매우 부자연스러운 합성 결과가 나오고, 극단적인 경우 합성에 실패하여 그냥 원본 얼굴을 보여주기도 한다. 합성 대상의 얼굴 표정 학습량이 적을 때에도 비슷한 일이 일어나는데, 이 때의 모습이 기괴하여 불쾌한 골짜기 현상이 일어나기도 한다.
음성에는 전혀 손대지 않지만, 얼굴 표정을 적절하게 매칭시켜 합성을 하기 때문에 목소리가 다르다 하더라도 입모양이 발음과 일치하여 자연스럽게 느껴진다. 이런 특성이 방송이나 광고에 의도적으로 이용될 수도 있을 것이다.
이러한 특성을 인지하고 있으면 양산형 영상은 아주 쉽게 간파할 수 있으나, 반대로 이런 약점을 피하기 위해 합성 대상이 되는 사람과 비슷한 체형 및 얼굴형을 가진 사람이 찍힌 영상을 고르고, 대상자의 얼굴 표정을 매우 다양하게 학습시킨 상태에서, 안면 부분에 별다른 방해물이 없는 장면 위주로 작업을 해낼 경우에는 굉장히 자연스러운 결과가 나오게 된다.
과거 2D 수동합성이 기술자의 감각적 스킬에 의존한 반면, 딥페이크의 경우는 좋은 장비를 갖춘 상태에서 적절한 대상을 찾고 충분한 학습량을 먹여야 하는 물량전으로 양상이 변한 셈이다. 현재 생산되는 어느정도 자연스러운 수준의 딥페이크들은 서로 조명 여건이 다른, 앞, 옆, 위, 그리고 아래 등 다양한 각도와 표정을 포함한 3분 정도짜리 비디오 3개 정도면 만들 수 있다고 한다.
현재 수준에서는 실사 영상에 적용하면 이질감이 들지만 원본이 3D CG인 경우 이질감이 확 줄어든다. 스파이더맨 트릴로지 배우들의 얼굴을 마블 스파이더맨 게임에 적용한 모습
이렇게 딥페이크가 공론화되자 몹시 닮은 사람도 딥페이크로 의심되기 시작했는데, 2021년 차이유라는 별명의 아이유를 닮은 중국 사람이 딥페이크로 의심받는 상황까지 벌어졌다.
이렇다보니, 객관적인 모델의 외모를 평가해야 하는 오디션에서는 응시자 외모를 보정하는 게 많아 아예 즉석사진(폴라로이드)으로만 응시할 수 있도록 하는 곳도 가득이다. 덕분에 즉석사진기 수요가 2020년대 와서도 여전히 꽤 이뤄지고 있을 지경.
자매품으로 딥누드가 있다. 딥페이크가 얼굴을 바꿔치기 하는 거라면 이쪽은 몸을 바꿔치기 하는 것. 정확하게는 비키니 등 노출이 많은 사진을 나체 사진으로 합성해준다. 그리고 또 다른 자매품으로 JavPlayer가 있는데, 이쪽은 AV의 모자이크를 제거하는 기술이다.[3]
3. A.I.
- SAE_HD: 전 세대의 평면의 얼굴만 습득하는 문제점을 고치고 다양한 각도로 얼굴을 카피하고 독자적으로 그 각도에 따라 빛,음영을 절묘하게 넣는 AI. 원래 전 세대 AI가 좀 많이 단순했던지라 다른 AI의 의해 사장될 것이라는 예상을 뒤덮고 아직까지 현존하는 가장 최고의 AI. 당연하지만 사용했던 AI 모델을 버리지 않고 계속 쓰면 점점 실력이 향상된다.
- Quick_96: 저사양 전용 AI. 해상도가 시망이라 저용량/저해상도용으로 쓰면 쓸만하다곤 하나, 딥페이크를 이용하는 유저들 대다수는 은근히 고사양을 가지고 있어서 사실상 버려지는 AI이다. 그래도 저사양에서 돌아간다는 건 높이 쳐줄 만할지도. 그리고 애초에 저사양용이다 보니 Iteration이 빠르게 올라간다. 그래픽카드 용량을 많이 잡아먹지도 않고 CPU에 조금 더 의존하는 AI이다.
4. 문제점
한국의 경우는 이를 제작해서 인터넷 등에 배포하면 성폭력범죄의 처벌 등에 관한 특례법 제14조의2에 따라 처벌받는다. 일방적으로 당사자를 성적 대상으로 삼는 행위인 데다가 다른 사람의 영상에 얼굴을 합성한 행위이므로 '허위사실 적시에 의한 사이버 명예훼손'이 성립하며, 어찌 되었든 포르노이므로 공연히 적시했다면 음란물 유포죄로 형사 처벌이 가능하다.[4] 또한 민사사건으로서는 당사자의 동의 없이 딥페이크 포르노를 제작하였으므로 초상권 침해가 성립한다. 하지만 이러한 우회적 처벌이 아니라, 직접적으로 처벌할 수 있는 근거가 되는 법을 신설해야 한다는 목소리가 높아지면서 2020년 6월25일, <불법합성물 제작·유포에 대한 처벌 규정을 담은 성폭력범죄의 처벌 등에 관한 특례법 개정안>이 시행됐다.기사
대다수 나라에서 현재 법적으로 대처가 불가능하다.기사[5] 사생활 침해에 관한 클레임도 걸 수 없는 게 동영상에 나오는 몸은 해당 연예인이 아니기 때문에 법적으로 사생활 침해가 인정되지 않는다. 그나마 동영상이라도 내릴 수 있는 유일한 방법은 얼굴이 나온 원본 영상에 대한 저작권 침해로 클레임을 거는 방법밖에 없다. 이와 같은 문제가 대두되기 시작하자 폰허브 같은 대형 플랫폼들은 딥페이크 영상들을 내리는 조치를 취하자 딥페이크 영상들을 모은 전용 사이트들이 생겨났다.
포르노뿐만 아니라, 머지 않은 시점에 정치인이나 기업을 공격할 목적으로 합성한 사실적인 영상이 대중과 사회에 미칠 영향은 그야말로 무궁무진하며,[6] SNS가 발달한 오늘날에는 일반인들 또한 딥페이크 영상에서 안전지대에 있다고 장담할 수가 없다. 자신의 얼굴로 합성 포르노가 만들어져서 망신을 당할 수도 있다.#
엔터테인먼트 분야에서의 그 효율이 탁월하다 할지라도 한사람의 삶과 죽음, 개인과 집단의 이익 목적 실현을 위한 딥페이크의 악용, 나아가 정치적으로 사용되어 거짓된 정보를 통해 대중을 선동하여 국제적 불안까지도 조장할 수 있다는 것이며, 여기서 더욱 더 문제가 되는 점은 딥페이크물을 거짓으로 입증하기도 어려울 뿐 아니라 일부 급진주의자들이 이야기하는 디크립트, 다시 말해서 해당 영상물이 실제로 딥페이크로 제작된다는 걸 밝혀주는 프로그램이 존재한다 해도 피해 당사자 측은 이미 상당한 피해를 입은 뒤의 후속조치에 불과하다는 것이다.
2월 27일 그것이 알고싶다에서 온라인 딥페이크 사용 목적의 96%가 포르노그라피인 것으로 보도되었다. 자세한 건 해당 문서 참조. 독일 경찰은 이를 역이용해서 아동성범죄 검거에 쓰고있다.
이렇게 실존 인물을 대상으로 딥페이크 기술을 이용해 당사자의 동의가 없는 불법적 커플링을 묘사하는 사례에 관한 자세한 내용은 Real Person Slash[7]의 줄임말인 알페스이다. 이는 알페스 공론화 사건 문서 참고.
2021년 5월 2일 경찰청 국가수사본부가 발표한 내용에 따르면, 2020년 12월 한 달 동안의 집중수사를 통해 94명의 딥페이크 제작 및 유포자를 적발했으며, 그 중 65명이 10대, 17명이 20대로 나타났다. 즉 딥페이크로 검거된 사람들의 87.2%는 1020 연령층이자 과반수가 10대에 집중된 것으로 확인되었다.기사 피해자는 114명으로 나타났으며 66명은 10대, 46명은 20대로서, 피해자들의 98.2%도 마찬가지로 1020 연령층이자 과반수가 10대에 집중되어 있었다. 또한 피해자들 중 109명이 여성이었고 남성 피해자는 단 5명에 그쳤다. 검거된 피의자들 중에는 10만 건이 넘는 딥페이크 자료들이 업로드된 불법 사이트를 운영하거나, 텔레그램에 8개의 채널을 만들고 727개의 딥페이크 자료들을 유통하던 경우도 있었다.
꼭 딥페이크가 아니어도 일반적인 포토샵을 통한 합성으로 특정 유명인의 음란물을 만드는 문화는 딥페이크 기술이 생기기 훨씬 전부터 있어왔다.[8][9] 단지 시대가 흐름에 따라 기술이 발전하면서 그런 범죄가 첨단 기술과 만나 더욱 교묘하고 악랄해진 것.
딥페이크가 주로 음란물 합성에 제작되는 문제점이 부각된 이후, 타인의 얼굴을 음란물에 합성하는 행위 일체를 딥페이크라고 부르는 추세가 생겨났다. 실제로 딥페이크 기술을 사용하지 않고 단순히 포토샵으로 얼굴만 바꾸는 합성 수준에 그치는 것도 딥페이크라고 불리는 경우까지 있는 것을 보면 고유명사가 된 보통명사화 된 것. 이는 기존에 음란물에 합성하는 행위만을 가르키는 신조어가 없었던 탓도 있다. 비슷한 개념인 '지인 능욕'도 있지만 이는 엄연히 지인을 대상으로만 해당하는 것이라 연예인 등에 대한 합성까지 포함시킬만한 단어는 없었다.
2022년 이후 생성형 인공지능이 대중화되면서 비슷한 문제에 대한 우려가 있으나 딥페이크만큼 논란이 된 경우는 없는데, 딥페이크의 경우 기술적 발전보다 부작용에 대한 우려가 더 이목을 끌면서 사실상 양지화되지 못한 문화 지체 사례로 볼 수 있다.
4.1. 피해 사례
- 2024년에는 딥페이크가 피싱에 이용되는 사례가 발생했다. 홍콩에서는 어느 회사에서 화상회의를 했는데 사장이 340억원을 계좌이체 하라고 지시했는데 피싱범의 딥페이크였다. 화상회의에 참여한 다른 직원들도 모두 가짜였다.#
- 대표적으로 엠마 왓슨의 얼굴을 사용한 포르노가 있는데, 처음 보는 사람들은 분간이 안 갈 정도로 자연스럽다. 게다가 점점 더 빠른 추세로 일반인들에게 보급과 이용이 되고 있는 데다가 제작자가 차기 딥페이크는 구분이 거의 되지 않을 정도의 성능을 보여줄 것이라 공언하였고 실제로 문제 또한 심각해졌다. 딥페이크 보급이 용이해지면서 공공연한 딥페이크가 음지 내에서 만연하는데 적발이 어려운 사태가 벌어졌다. 독일은 여기서 한술 더떠서 딥페이크를 적극적으로 활용해 가짜 아청물을 찍어내서 함정수사를 한다.#
- 일본에서도 2020년에 연예인에 대한 딥페이크를 제작·공개한 혐의로 적발한 사례가 있다.#
- 트위터같은 SNS상에서 링크를 통해 딥페이크 영상물을 사고파는 악성범죄가 자주 일어난다. '지인 합성', '능욕 합성' 등의 키워드를 검색해보면 지인이나 가족 등의 사진을 영상, 19금 사진에 합성해준다는 계정이 굉장히 많다. 심지어 이들 중 여럿은 공개 계정으로 버젓이 활동하고 있다. 텔레그램에서는 여자 아이돌을 대상으로 한 비밀방이 다수 운영된다. 기사
5. 사용 예시
기록말살형에 딥페이크가 사용된 사례가 해외에서 나왔다. 드라마 방영을 앞두고 한 배우가 사회적 물의를 일으켰는데 사전제작 방식이라 중도에 수정할 수도 없어서 딥페이크로 해당 배우의 얼굴만 바꿔치기 했다고.당시 MBC 뉴스에서 딥페이크 예시로 아이유와 방탄소년단을 예시로 사용했는데, 양측 팬에서 논란이 되었다. 특히 방탄소년단은 MBC-HYBE 간 불화의 연장선으로 보기도 했을 정도며, 자세한 내용은 MBC 아이유·방탄소년단 딥페이크 보도 사건 참고.
실존인물 영상에 엘사와 같은 가상인물 얼굴을 합성하는 것도 가능하다.
일반인의 얼굴을 합성하기도 한다. 합성하기 위해서 얼굴 샘플을 구해야 하는데 SNS에 올린 사진을 불법으로 퍼가서 얼굴 샘플로 이용하여 합성을 한다.
한국 커뮤니티에서는 강호동과 브록 레스너를 서로 딥페이크로 합성한 합성물이 인기를 끌었다. 이수근 역시 강호동과 같이 합성되어서 나오는데 이수근은 폴 헤이먼과 서로 합성되었다.호동 레스너.gif브호동 모음.gif, 링크 2
한국에서 처음 등장한 딥페이크 합성물은 2012년의 해당 영상으로 추측되며 이한석과 심영의 합성물로 보인다.
인물 사진에 딥페이크를 합성해 노래를 부르게 하는 ばかみたい와 마이야히가 인터넷 밈으로 퍼지기도 했다.
2021년에는 일론 머스크가 노래를 부르는 컨셉의 딥페이크 영상이 유행하고 있다.
전체를 딥페이크 영상만으로 채운 풍자 코미디 쇼가 유튜브에 나오기도 했다. 트레이 파커와 맷 스톤, 피터 세러피너위치[10]가 제작한 “Sassy Justice with Fred Sassy”로 여러 유명인들이 출연해 우스꽝스러운 말을 한다.
딥페이크 기술을 활용한 버추얼 인플루언서가 여러가지 영상 매체로 활동을 하기도 한다.
Corridor Digital에서 딥페이크를 이용하여 마치 키아누 리브스가 마트에 든 강도를 막는 것처럼 연출한 영상. 키아누 리브스와 체형이 비슷한 스턴트맨까지 섭외하여 만들었다.
뮤직비디오의 약 2분 19초경부터 투팍이 등장하는데 이 역시 딥페이크를 이용한 것으로, 립싱크를 맞춘 배우의 얼굴에 투팍의 얼굴을 덮어씌워 마치 투팍이 랩을 하는 듯한 연출을 보여준다.
AI 음악 프로젝트 다시 한번에서는 이 기술을 활용해 거북이의 무대를 재현했다. 체형이 비슷한 백댄서의 몸을 이용해 합성한 것.
딥페이크로 기존 영화 속 CG 작업과 비교하는 영상도 생겨났다.
한국 예능 대탈출 시즌4의 럭키랜드 에피소드 2부에서 관련 내용이 등장한다.
음성만 딥페이크를 하는 것을 딥보이스라고 한다. 선술한 AI 음악 프로젝트 다시 한번에서도 이 기술을 사용했다. 2023년 국정감사에서 더불어민주당 소속 이상헌 문화체육관광위원장이 AI 기술과 관련된 딥페이크 관련 범죄 피해가 늘고 있다는 점을 지적하기 위해 김광석의 사진에 유인촌의 얼굴을 합성하고 그의 음성을 학습시켜 그가 서른 즈음에를 부르는 영상을 공개한 적이 있다.
6. 관련 문서
- 불법촬영
- 생성적 적대 신경망
- 성범죄
- 섹테
- 아이코라
- 알페스
- 포르노
- Pornhub: 연예인 딥페이크 영상이 있어 논란이 되었으나, 2020년 12월 사이트 내 영상 대다수를 삭제하면서 같이 지워졌다.
- 7인의 탈출: 작중 K가 악행을 저지를때 자신의 정체를 완전히 숨겨 완전 범죄를 저지르기 위해 딥페이크 기술을 사용한다.
- 밤이 되었습니다: 유일고 일진들이 진다범에게 박세은을 이용한 딥페이크 야동을 제작하라고 협박한다.
7. 외부 링크
[1] 유튜버 Shamook의 만든 딥페이크 영상. 실제 아이언맨을 연기한 배우는 로버트 다우니 주니어이며 톰 크루즈와 실제 배우의 목소리 톤이 다르기 때문에 성대모사 전문가를 불러 더빙도 했다. 왜 하필 톰 크루즈를 넣었냐면 배우 확정 이전에는 로버트 대신 크루즈가 유력 후보였기 때문. Shamook는 이후 스타워즈 제작사인 루카스필름에 정식으로 채용되었다. 참고로 루카스필름과 아이언맨의 마블 스튜디오는 같은 모회사를 두고 있으므로 상황에 따라서 마블로 이직할 가능성도 있을 듯하다.[2] 주로 그래픽카드가 많이 사용된다. 가격 대비 연산성능이 매우 뛰어나기 때문이다.[3] 정확히는 제거가 아니라 상술한대로 딥러닝을 통해 덧붙이는 방식이다. 애초 AV작품의 모자이크가 덧붙일 부위도 톤이나 움직임이 간단하고, 모자이크 없는 영상도 많아 샘플링할 데이터도 많다보니 제거 수준까지 가능한 것. 물론 디테일은 떨어지며 그냥 흐린눈으로 뭉개는거에 가깝다.[4] 단, 딥페이크 포르노 영상의 유포라는 하나의 행위가 명예훼손과 음란물 유포죄 양측으로 해석되는 상황이므로, 상상적 경합이 적용되어 실제 처벌은 사이버 명예훼손으로 이뤄지게 된다. 허위사실 적시에 의한 사이버 명예훼손은 징역 장기 7년까지 가능한 중범죄다.[5] 당연한 것이, 법의 변화는 기술 발달보다 훨씬 느리다보니 법에 구멍이 뚫리는 경우가 많다. '투자'로 취급되어 소비자보호법이 적용되지 못하는 와디즈가 대표적인 사례다.[6] 예를 들어 정적의 정치생명을 끝장내려 하는 경우가 벌어질 수도 있다. 이미 기존에 버락 오바마가 도널드 트럼프에 대해 실제론 하지도 않은 말을 하는 가짜 영상이 만들어져서 퍼진 바 있다. 물론 그 역으로 도널드 트럼프가 실제로 하지도 않은 말을 가지고 그를 깎아내리기 위해 선동하는 영상도 많이 만들어져서 퍼졌다.[7] 소설뿐만 아니라 그림, 영상 등 다양한 방식의 창작물도 실존 인물을 엮는 내용이라면 모두 RPS라고 부른다. 그리고 이 과정에서 영상물의 경우 딥페이크 기술이 사용된다.[8] 주로 여성 연예인의 얼굴과 AV의 한 장면을 합성하여 만들어진 스타크래프트의 벗기기맵 역시 이에 해당하는 대표적 사례이다.[9] 무려 2012년에 빅뱅의 탑 얼굴을 게이포르노에 합성한 알페스가 발견되기도 한다.##[10] 존 윅 시리즈의 소믈리에, 다스 몰을 연기한 유명한 코미디 배우이며 한국에서는 키친건 영상으로 유명하다.[11] 다만 이쪽은 피터 쿠싱이 생전 얼굴 본을 뜬 적이 있어 작업이 어렵지 않게 진행되었다.[12] CG로 안티에이징 기술이 적용되었다.[13] 다른 비교영상과 달리 딥페이크가 훨씬 좋다. 기존 CG가 워낙 별로이기 때문이다.