“연이은 딥페이크 위협, 워터마크로 막긴 역부족”

최근 일론 머스크의 xAI가 출시한 ‘그록’이 유명인을 성적으로 묘사한 이미지를 생성해 논란이 되면서 생성형 인공지능(AI)을 활용한 딥페이크에 대한 위협이 또다시 부각됐다. 구글과 오픈AI 등 빅테크 기업들은 워터마킹 기술 등 대응책을 내놓고 있지만 워터마크로 막기에는 역부족이라는 지적이 나온다.

7일 업계에 따르면 xAI는 현지 시각 4일, AI 앱 ‘그록(Grok)’ iOS 버전에 이미지와 영상을 생성해주는 ‘그록 이매진(Grok Imagine)’을 출시했다. 명령어를 입력만으로 수 초 내에 관련 이미지와 15초 분량의 영상을 생성할 수 있다는 것이 xAI의 설명이다.

하지만 그록의 일부 기능들은 오히려 딥페이크 논란을 불러일으켰다. 논란의 중심은 xAI의 성인 콘텐츠 생성 옵션 ‘스파이시 모드(Spicy mode)’다. IT 매거진 ‘더 버지(The Verge)’ 등 외신에 따르면 그록의 스파이시 모드를 활용해 ‘테일러 스위프트가 소년과 함께 코첼라를 축하하는 모습’을 묘사해 달라는 요청에 그록은 테일러 스위프트의 성착취물을 제작했다. 그록은 유명인의 외모를 포르노 방식으로 생산하는 것을 금지했음에도 불구하고 이와 정반대의 콘텐츠를 제작한 것이다.

앞서 지난해 9월 딥페이크에 피해자 중 한 명인 테일러 스위프트의 딥페이크 영상이 소셜미디어 X에 퍼진 바 있다. 이에 X는 검색 제한 등 반복적 딥페이크 유저들에게 제재를 적용했지만 유사한 사례가 재현됐다. 이러한 논란에도 xAI 측의 별도 조치는 알려지지 않았다.

반면 다른 글로벌 빅테크 기업들은 적극적인 대응에 나서고 있다. 구글 딥마인드는 워터마킹 도구 ‘신스ID(SynthID)’를 베타 출시했다. 신스ID는 AI가 생성한 이미지, 영상, 음성에 디지털 워터마크를 삽입해 조작 여부를 식별할 수 있는 도구로 딥페이크 탐지의 핵심 기술로 평가받고 있다. 또한 합의되지 않은 딥페이크 포르노를 줄이기 위한 추가 조치를 발표했다. AI 생성 콘텐츠에 실제 사람의 얼굴이나 신체가 허가 없이 등장하는 경우, 당사자는 검색 결과에서 삭제를 요청할 수 있다는 정책을 시행하고 있다. 음란물 또는 과도한 노출이 포함된 콘텐츠를 AI로 생성하거나 이를 배포 또는 저장하는 서비스 홍보를 금지하는 광고 정책도 강화했다.

메타의 경우 영상과 오디오에 워터마크를 적용했으며, 사용자들이 AI 생성 콘텐츠를 인식할 수 있도록 정치 광고에 AI 사용을 명시하는 정책을 시행하고 있다.

오픈AI는 동영상 생성 AI ‘소라’ 출시와 함께 강력한 안전장치를 마련했다. 18세 이상 이용자에게만 서비스하고 주요 정치인·공인 이미지 생성과 미성년자 묘사를 금지했다. 워터마크 삽입과 AI 콘텐츠 판별 시스템을 구축했으며 자체 감지도구로 음란·폭력물 등을 모니터링도 진행한다. 또 9개국의 외부 레드팀과 협력해 잠재적인 위험 요소를 발견·개선해 나가고 있다.

구글, 메타, 오픈AI 등은 책임 있는 AI 사용을 위해 출처 관련 기술 표준을 만드는 연합체 ‘C2PA’도 구성했다. 구글, 마이크로소프트, 인텔, 어도비 등 100여개 기업들도 공동 참여하고 있다

이러한 노력에도 앞으로도 딥페이크는 기술의 발전에 의해 지속적으로 과제로 남을 전망이다. 지난달 23일 캐나다 언론에 따르면 캐나다 워털루 대학교의 안드레 카시스 컴퓨터 과학 박사과정생은 인위적으로 생성된 콘텐츠를 식별하는 워터마크를 빠르게 제거할 수 있는 도구를 개발했다. 연구진들은 딥페이크를 퇴치하려는 전 세계적인 노력이 잘못된 방향으로 가고 있다는 입장이다. 이들 연구진들의 연구 결과에 따르면 워터마크를 사용하는 것은 AI 콘텐츠로 인한 위험을 막는 효과적인 방패가 될 수 없다.

안드레 카시스는 “학계와 업계는 딥페이크에 맞서는 가장 좋은 방법으로 워터마킹에 집중하고 있다”며 “이는 기본적으로 다른 모든 접근 방식을 포기했다”고 설명했다. 이어 “우리의 연구는 딥페이크에 대한 방어 수단으로서 워터마킹의 전제를 훼손하는 체계적인 취약성을 폭로한 최초의 연구”라고 강조했다.