AI 생성 가짜 비디오가 점점 더 일반화되고 있습니다(그리고 설득력이 있음). 여기 우리가 걱정해야 하는 이유가 있습니다 에 의해 이안 샘플

딥페이크란?
버락 오바마가 도널드 트럼프를 " 완전한 멍청이 " 라고 부르는 것을 보거나 마크 주커버그가 " 수십억 명의 도난당한 데이터를 완벽하게 통제한다 "고 자랑하는 것을 보았 거나 존 스노우 가 왕좌의 게임의 암울한 결말에 대해 감동적인 사과 를 하는 것을 본 적이 있습니까? 예라고 대답하면 딥페이크를 본 것입니다. Photoshopping에 대한 21세기의 대답인 딥페이크는 딥 러닝이라는 인공 지능의 한 형태를 사용하여 가짜 이벤트의 이미지를 만들어 딥페이크라는 이름을 사용합니다. 정치인의 입 에 새로운 단어 를 넣고 싶 거나 좋아하는 영화에 출연 하거나 프로처럼 춤을 추고 싶 습니까? 그런 다음 딥페이크를 만들 차례입니다.

그들은 무엇을위한 것입니까?
많은 사람들이 음란물입니다. AI 회사 Deeptrace는 2019년 9월에 온라인에서 15,000개의 딥페이크 비디오를 발견했는데, 이는 9개월 동안 거의 두 배 증가한 수치입니다. 놀랍게도 96%는 음란물 이었고 99%는 여성 유명인의 얼굴을 포르노 스타로 매핑했습니다. 새로운 기술을 통해 숙련되지 않은 사람들이 몇 장의 사진으로 딥페이크를 만들 수 있게 됨에 따라 가짜 비디오가 유명인의 세계를 넘어 리벤지 포르노를 부추길 가능성이 높습니다. 보스턴 대학의 법학 교수인 다니엘 시트론(Danielle Citron)은 “딥페이크 기술이 여성을 대상으로 무기화되고 있다”고 말했습니다. 포르노 외에도 많은 스푸핑, 풍자 및 장난이 있습니다.

동영상에만 해당되나요?
아니요. Deepfake 기술은 처음부터 설득력 있지만 완전히 허구의 사진을 만들 수 있습니다. LinkedIn과 Twitter에 프로필이 있던 존재하지 않는 Bloomberg 기자 "Maisy Kinsley"는 아마도 딥페이크였을 것입니다. 또 다른 링크드인 가짜인 "케이티 존스(Katie Jones)"는 전략 국제 연구 센터(Center for Strategic and International Studies)에서 일한다고 주장했지만 외국 스파이 활동을 위해 만들어진 딥페이크(deepfake)로 생각됩니다.

오디오도 딥페이크하여 공인의 " 음성 스킨 " 또는 " 음성 클론 " 을 만들 수 있습니다 . 지난 3월, 독일 에너지 회사의 영국 자회사 대표는 독일 CEO의 목소리를 흉내낸 사기꾼의 전화를 받은 후 헝가리 은행 계좌로 거의 20만 파운드를 지불했습니다 . 회사의 보험사는 그 목소리가 딥페이크라고 생각하지만 증거는 불분명합니다. 비슷한 사기가 녹음된 WhatsApp 음성 메시지를 사용한 것으로 알려졌습니다.

마크 주커버그 페이스북 최고경영자(CEO)의 원본 영상과 딥페이크 영상의 비교.
마크 주커버그 페이스북 최고경영자(CEO)의 원본 영상과 딥페이크 영상의 비교. 사진: 게티 이미지를 통한 워싱턴 포스트
어떻게 만들어지나요?
대학 연구원과 특수 효과 스튜디오는 오랫동안 비디오 및 이미지 조작으로 가능한 것의 한계를 뛰어 넘었습니다. 그러나 딥페이크 자체는 같은 이름의 Reddit 사용자가 사이트에 조작된 포르노 클립을 게시했을 때 2017년에 태어났습니다. 비디오는 Gal Gadot, Taylor Swift, Scarlett Johansson 등 유명인의 얼굴을 포르노 배우로 바꿨습니다.

얼굴 교체 동영상을 만드는 데는 몇 가지 단계가 필요합니다. 먼저 인코더라는 AI 알고리즘을 통해 두 사람의 수천 장의 얼굴 사진을 실행합니다. 인코더는 두 얼굴 간의 유사점을 찾아 학습하고 공유된 공통 기능으로 축소하여 프로세스에서 이미지를 압축합니다. 그런 다음 디코더라고 하는 두 번째 AI 알고리즘이 압축된 이미지에서 얼굴을 복구하도록 학습됩니다. 얼굴이 다르기 때문에 첫 번째 사람의 얼굴을 복구하기 위해 하나의 디코더를 훈련하고 두 번째 사람의 얼굴을 복구하기 위해 다른 디코더를 훈련합니다. 얼굴 스왑을 수행하려면 인코딩된 이미지를 "잘못된" 디코더에 공급하기만 하면 됩니다. 예를 들어, 사람 A의 얼굴의 압축된 이미지가 사람 B에 대해 훈련된 디코더에 공급됩니다. 그런 다음 디코더는 얼굴 A의 표정과 방향으로 사람 B의 얼굴을 재구성합니다. 설득력 있는 비디오의 경우,

블라디미르 푸틴의 원본 및 딥페이크 비디오
블라디미르 푸틴 러시아 대통령의 원본 영상과 딥페이크 영상 비교. 사진: Getty Images를 통한 Alexandra Robinson/AFP
딥페이크를 만드는 또 다른 방법은 생성적 적대 네트워크(Gan)라고 하는 것을 사용합니다. A Gan은 두 개의 인공 지능 알고리즘을 서로 경쟁합니다. 제너레이터로 알려진 첫 번째 알고리즘은 임의의 노이즈를 입력받아 이미지로 변환합니다. 그런 다음 이 합성 이미지는 판별자라고 하는 두 번째 알고리즘에 입력되는 실제 이미지 스트림에 추가됩니다. 처음에는 합성 이미지가 얼굴처럼 보이지 않을 것입니다. 그러나 성능에 대한 피드백과 함께 프로세스를 수없이 반복하면 판별자와 생성기가 모두 향상됩니다. 충분한 주기와 피드백이 주어지면 생성기는 완전히 존재하지 않는 유명인의 완전히 사실적인 얼굴 을 생성하기 시작할 것 입니다.

누가 딥페이크를 만들고 있습니까?
학계 및 산업 연구원부터 아마추어 애호가, 시각 효과 스튜디오 및 포르노 제작자에 이르기까지 모든 사람. 예를 들어 정부는 극단주의 단체의 평판을 떨어뜨리고 혼란을 일으키거나 표적이 된 개인과 접촉 하기 위한 온라인 전략의 일환으로 이 기술에 손을 대고 있을 수도 있습니다 .

어떤 기술이 필요합니까?
표준 컴퓨터에서 좋은 딥페이크를 만드는 것은 어렵습니다. 대부분은 강력한 그래픽 카드 또는 클라우드의 컴퓨팅 성능을 갖춘 고급 데스크탑에서 생성됩니다. 이는 처리 시간을 며칠에서 몇 시간으로 단축합니다. 그러나 깜박임 및 기타 시각적 결함을 줄이기 위해 완성된 비디오를 수정하는 것 역시 전문 지식이 필요합니다. 즉, 사람들이 딥페이크를 만드는 데 도움이 되는 많은 도구를 사용할 수 있습니다. 여러 회사가 귀하 를 대신하여 클라우드에서 모든 처리를 수행합니다. 사용자가 시스템이 훈련한 TV 및 영화 캐릭터 목록에 얼굴을 추가할 수 있는 휴대폰 앱인 Zao 도 있습니다.

중국 얼굴 교환 앱 자오(Zao)
중국의 얼굴 교환 앱 Zao가 개인 정보 보호 문제를 일으켰습니다. 사진: Imaginechina/SIPA USA/PA 이미지
딥페이크를 어떻게 식별합니까?
기술이 발전할수록 어려워진다. 2018년에 미국 연구원 들은 딥페이크 얼굴이 정상적으로 깜박이지 않는다는 것을 발견했습니다. 놀라운 일이 아닙니다. 대부분의 이미지는 눈을 뜨고 있는 사람을 보여주므로 알고리즘은 깜박임에 대해 실제로 학습하지 않습니다. 처음에는 탐지 문제에 대한 은총알처럼 보였습니다. 그러나 연구가 발표되자마자 딥페이크가 눈을 깜박이며 나타났습니다. 이것이 게임의 특성입니다. 약점이 드러나면 바로 수정됩니다.

품질이 낮은 딥페이크는 더 쉽게 식별할 수 있습니다. 립싱크가 좋지 않거나 피부 톤이 고르지 않을 수 있습니다. 조옮김된 면의 가장자리 주위에 깜박임이 있을 수 있습니다. 머리카락과 같은 미세한 디테일은 특히 딥페이크가 잘 렌더링하기 어렵습니다. 특히 가장자리에 가닥이 보이는 경우 더욱 그렇습니다. 부적절하게 렌더링된 보석과 치아는 균일하지 않은 조명 및 홍채의 반사와 같은 이상한 조명 효과와 마찬가지로 경품이 될 수 있습니다.

정부, 대학 및 기술 회사는 모두 딥페이크를 탐지하기 위한 연구에 자금을 지원하고 있습니다. 지난 달 Microsoft, Facebook 및 Amazon이 후원 하는 첫 번째 Deepfake Detection Challenge가 시작되었습니다. 여기에는 딥페이크 탐지 게임에서 패권을 놓고 경쟁하는 전 세계의 연구 팀이 포함됩니다.

페이스북은 지난주 2020년 미국 대선을 앞두고 시청자 가 "실제로 말하지 않은 말을 했다"고 오도할 가능성이 있는 딥페이크 동영상을 금지했습니다 . 그러나 이 정책은 AI를 사용하여 생성된 잘못된 정보에만 적용되며, 이는 플랫폼에서 "얕은 가짜"(아래 참조)가 여전히 허용됨을 의미합니다.

한 여성이 도널드 트럼프와 버락 오바마의 딥페이크 영상을 보고 있다.
한 여성이 도널드 트럼프와 버락 오바마의 딥페이크 영상을 보고 있다. 사진: Getty Images를 통한 Rob Lever/AFP
딥페이크가 대혼란을 일으킬까요?
우리는 괴롭히고, 위협하고, 비하하고, 약화시키고, 불안정하게 만드는 더 많은 딥페이크를 기대할 수 있습니다. 그러나 딥페이크가 주요 국제 사건을 촉발할 것인가? 여기서 상황은 덜 명확합니다. 큰 빨간 버튼을 누르는 세계 지도자의 딥페이크가 아마겟돈을 일으키지 않아야 합니다. 국경에 모여있는 군대의 딥페이크 위성 이미지도 많은 문제를 일으키지 않습니다. 대부분의 국가에는 신뢰할 수 있는 보안 이미징 시스템이 있습니다.

그러나 여전히 장난을 칠 여지는 충분합니다. 작년에 Elon Musk가 라이브 웹 쇼에서 공동 흡연을 했을 때 Tesla 주식은 폭락했습니다 . 12월 도널드 트럼프는 다른 세계 지도자들이 그를 조롱하는 것으로 보이는 실제 영상이 나왔을 때 나토 회의에서 일찍 집으로 날아갔다 . 그럴듯한 딥페이크가 주가를 변화시키고 유권자에게 영향을 미치며 종교적 긴장을 유발할 것인가? 안전한 베팅인 것 같습니다.

그들은 신뢰를 훼손할 것인가?
다른 합성 미디어 및 가짜 뉴스와 함께 딥페이크의 더 교활한 영향은 사람들이 진실과 거짓을 구별할 수 없거나 더 이상 신경 쓰지 않는 제로 트러스트 사회를 만드는 것입니다. 그리고 신뢰가 무너지면 특정 사건에 대해 의구심을 제기하기가 더 쉽습니다.

작년에 카메룬의 통신부 장관은 카메룬 군인들이 민간인을 처형하는 모습을 보여주는 비디오로 국제앰네스티가 믿고 있는 가짜 뉴스로 일축했습니다 .

녹음된 대화에서 여성의 성기를 움켜쥐었다고 자랑했다고 시인한 도널드 트럼프는 나중에 테이프가 진짜가 아니라고 주장했다 . 앤드류 왕자가 에밀리 메이틀리스와의 BBC 인터뷰에서 왕자 는 버지니아 주프레와 함께 찍은 사진의 진위 여부에 의문을 제기했으며, 그녀의 변호사는 이 사진이 진짜이고 변경되지 않았다고 주장합니다.

Newcastle University의 인터넷 법률 전문가인 Lilian Edwards 교수는 "문제는 가짜 현실이 아니라 실제 현실이 그럴듯하게 부인될 수 있다는 사실일 수 있습니다."라고 말합니다.

기술이 더 쉽게 접근할 수 있게 됨에 따라, 딥페이크는 특히 위조된 사건이 ​​증거로 입력될 수 있는 아동 양육권 분쟁 및 고용 재판소에서 법원에 문제를 의미할 수 있습니다. 그러나 딥페이크는 생체 인식 데이터를 모방할 수 있으며 잠재적으로 얼굴, 음성, 정맥 또는 보행 인식에 의존하는 시스템을 속일 수 있습니다. 사기의 가능성은 분명합니다. 갑자기 누군가에게 전화를 걸어 알 수 없는 은행 계좌로 돈을 이체할 가능성은 거의 없습니다. 그러나 "어머니"또는 "자매"가 WhatsApp에서 화상 통화를 설정하고 동일한 요청을 한다면 어떻게 될까요?

해결책은 무엇입니까?
아이러니하게도 AI가 답이 될 수 있습니다. 인공 지능은 이미 가짜 비디오를 식별하는 데 도움이 되지만 기존의 많은 탐지 시스템에는 심각한 약점이 있습니다. 유명인에게 가장 적합합니다. 무료로 사용할 수 있는 몇 시간의 영상을 훈련할 수 있기 때문입니다. 기술 회사는 이제 가짜가 나타날 때마다 이를 표시하는 것을 목표로 하는 탐지 시스템을 개발하고 있습니다. 또 다른 전략은 미디어의 출처에 초점을 맞추고 있습니다. 디지털 워터마크는 완전하지 않지만 블록체인 온라인 원장 시스템은 비디오, 사진 및 오디오의 변조 방지 기록을 보유할 수 있으므로 출처와 조작을 항상 확인할 수 있습니다.

딥페이크는 항상 악의적입니까?
별말씀을 요. 많은 것이 재미있고 일부는 도움이 됩니다. 음성 복제 딥페이크는 사람들 이 질병에 걸렸을 때 목소리를 복원 할 수 있습니다 . Deepfake 비디오는 갤러리와 박물관에 활기를 불어넣을 수 있습니다. 플로리다의 달리 박물관에는 자신의 예술을 소개 하고 방문객들 과 셀카를 찍는 초현실주의 화가의 딥페이크가 있습니다. 엔터테인먼트 산업의 경우 기술을 사용하여 외국어 영화의 더빙을 개선하고 더 논란의 여지가 있는 것은 죽은 배우를 부활시킬 수 있습니다. 예를 들어, 고 제임스 딘은 베트남 전쟁 영화인 잭을 찾아서에 출연할 예정입니다.

Shallowfake는 어떻습니까?
인권 단체인 Witness의 Sam Gregory가 만든 shallowfakes는 맥락 없이 제공되거나 간단한 편집 도구로 조작된 비디오입니다. 그것들은 조잡하지만 의심할 여지 없이 영향력이 있습니다. Nancy Pelosi의 연설 속도를 늦추고 미국 하원의장을 흐릿하게 만든 얕은 가짜 비디오가 소셜 미디어에서 수백만 명의 사람들에게 도달했습니다 .

또 다른 사건에서는 CNN 특파원인 Jim Acosta가 대통령과 열띤 교류를 하던 중 백악관 기자 브리핑에서 일시적으로 금지되었습니다. 이후 공개된 얕은 가짜 비디오에는 마이크를 빼려고 했던 인턴과 접촉하는 모습이 담겨 있었다. 나중에 비디오가 결정적인 순간 에 속도를 높여 움직임을 공격적으로 보이게 만든 것으로 나타났습니다 . 코스타의 보도 패스는 나중에 복원되었습니다.

영국의 보수당도 이와 유사한 얕은 가짜 전술을 사용했습니다. 최근 선거를 앞두고 보수당 은 노동당의 키어 스타머(Keir Starmer) 의원과의 TV 인터뷰 를 조작 하여 당의 브렉시트 입장에 대한 질문에 대답할 수 없는 것처럼 보이게 했습니다. 딥페이크를 사용하면 장난이 늘어날 가능성이 큽니다. Deeptrace의 위협 인텔리전스 책임자인 Henry Ajder는 다음과 같이 말했습니다. 이 기술은 사라지지 않습니다.”