AI가 불러온 이면 “내가 인간임을 증명하라”

생성형 인공지능(AI) 발전으로 딥페이크와 딥보이스가 실제 인간과 구별이 어려워지면서, 디지털 공간에서 상대방이 실제 인간인지 확인하는 것이 새로운 보안 과제로 대두되고 있다.

지난 2월 홍콩의 한 다국적 기업 재무팀 직원이 화상회의 중 최고재무책임자(CFO)의 지시로 2500만달러(약 359억원)를 송금했다. 문제는 화면 속 CFO가 딥페이크였다는 점이다. 목소리, 얼굴, 말투까지 완벽히 재현한 AI가 실제 임원으로 위장해 거액을 가로챈 것이다.

미국에서는 한 어머니가 딥보이스로 조작된 딸의 목소리를 듣고 납치 사기에 속아 50만달러(약 7억원)를 송금했다. 한국에서도 지난해 유명 연예인으로 위장한 딥페이크 투자 사기가 적발됐고, SNS에서는 AI가 생성한 가짜 광고가 확산되고 있다.

월드(World)의 기술 개발사 툴스 포 휴머니티(Tools for Humanity, 이하 TFH)에 따르면 올해 딥페이크 관련 사기가 전년 대비 162% 증가할 것으로 예상된다. 딥페이크 파일은 2023년 50만 건에서 2025년 800만 건으로 급증할 전망이다. 지난 13일 과학기술정보통신부 국정감사에서도 딥페이크가 주요 안건으로 다뤄졌다.

◇ 비밀번호는 사람도, 봇도 입력할 수 있다

온라인 게임에서는 자동 사냥 봇이 24시간 작동하며 게임 경제를 왜곡한다. TFH가 올해 3월 국내 게이머 800명을 대상으로 실시한 설문조사에서 응답자의 79%가 봇으로 인한 게임 내 공정성 훼손을 우려했다. 83%는 게임 내 인간 검증 기술 도입이 필요하다고 답했으며, 91%는 향후 AI와 인간을 구별하는 메커니즘이 필수적이라고 응답했다.

SNS에서는 AI가 생성한 가짜 계정들이 여론 형성에 영향을 미치고 있다. 2024년 미국 대선 당시 수백만 개의 봇 계정이 특정 후보를 지지하거나 공격하는 게시물을 자동으로 생성했다. 일반 사용자는 자신이 사람과 대화하는지, 프로그램과 대화하는지 구별하기 어려웠다.

금융 거래에서도 유사한 문제가 발생하고 있다. AI 챗봇이 은행 고객센터 직원을 사칭해 개인정보를 요구하거나, 가짜 투자 상담사로 위장해 피싱 사이트로 유도하는 사례가 증가하고 있다. 의료 상담, 법률 서비스, 선거 과정 등 디지털 영역이 확장되면서 ‘상대가 실제 인간인가’를 확인하는 것이 새로운 보안의 전제조건이 되고 있다.

박상욱 TFH 한국 지사장은 “기존 보안 체계는 ‘비밀번호가 맞는가’, ‘SMS를 받을 수 있는가’를 묻지만, 그 문을 통과하는 존재가 사람인지 정교한 프로그램인지는 확인하지 않는다”며 “비밀번호는 사람도, 봇도 입력할 수 있다”고 지적했다. 이어 “기술이 사람을 속이는 것이 아니라 사람에게 봉사하도록 만들기 위해서는, 비공개적이면서도 보편적으로 인간성을 검증할 수 있는 새로운 방법이 필요하다”고 말했다.

◇ 샘 올트먼이 제시한 ‘인간 증명’, 월드의 세 가지 기술

샘 올트먼 오픈AI 최고경영자(CEO)가 알렉스 블라니아, 맥스 노벤스턴과 공동 창립한 ‘월드(World)’는 이러한 문제에 대한 해법을 제시하고 있다. 챗GPT로 생성형 AI 시대를 연 올트먼이 AI로 인한 보안 위협에 대응하는 기술을 개발한 것이다.

월드가 제시한 핵심 개념은 ‘인간 증명(Proof of Human)’이다. 사용자가 개인정보나 신원을 노출하지 않으면서도 자신이 인간임을 익명으로 증명할 수 있는 시스템이다. 이를 구현하기 위해 월드는 네 가지 원칙을 제시한다. △개인정보 보호 중심 검증 △보편적 상호운용성 △사기 방지 설계 △글로벌 접근성이다.

월드의 기술적 구현체는 세 가지다. 홍채 인식 디바이스 ‘오브(Orb)’, 디지털 신원 증명 ‘월드ID(World ID)’, 분산 암호화 시스템 ‘AMPC(익명화된 다자간 연산, Anonymized Multi-Party Computation)’다.

오브는 은빛 구 형태의 휴대용 홍채 스캔 장치다. 사용자가 오브 앞에서 홍채를 스캔하면, 이 정보는 수치 코드로 변환돼 월드ID 발급에 사용된다. 월드ID는 디지털 신원 증명으로, 사용자가 여러 온라인 서비스에서 자신이 인간임을 증명할 때 활용할 수 있다. 이 과정에서 실명이나 주민등록번호 같은 개인 식별 정보는 노출되지 않는다.

예를 들어 한 사용자가 온라인 게임에 접속할 때 월드ID로 인증하면 게임사는 ‘이 계정은 실제 인간이 사용한다’는 것만 확인할 뿐, 그 사람이 누구인지는 알 수 없다. 같은 방식으로 소셜미디어에서 댓글을 달 때, 금융 거래를 할 때, 투표를 할 때 사용자는 익명성을 유지하면서도 자신이 봇이 아닌 인간임을 증명할 수 있다.

월드가 홍채를 생체인증 수단으로 선택한 이유는 지문이나 얼굴보다 위조가 어렵고, 각 개인마다 고유한 패턴을 가지고 있기 때문이다. 다만 생체정보 수집에 대한 프라이버시 우려에 대응하기 위해 월드는 AMPC 기술을 개발했다.

◇ 데이터를 쪼개 흩어놓는다… KAIST가 참여한 AMPC

AMPC는 월드가 2024년 발표한 차세대 암호화 기술이다. 홍채에서 추출한 수치 코드를 사용자 기기 밖으로 내보내지 않으면서도, 필요할 때 인증에 활용할 수 있도록 설계됐다.

오브에서 수집된 홍채 데이터는 즉시 암호화되고 익명화된 뒤 여러 개의 조각으로 분할된다. 이 조각들은 비밀 분산 기술과 종단 간 암호화를 거쳐 전 세계에 분산된 독립 기관의 컴퓨팅 노드로 전송된다.

현재 AMPC는 한국 KAIST, 블록체인 엔지니어링 기업 넷허마인드(Nethermind), 독일 프리드리히 알렉산더 대학교(FAU), UC 버클리 책임 분산지능 연구소(RDI) 등 4개 기관이 운영하고 있다. 지난 5월 카이스트는 아시아 지역 최초로 AMPC 파트너로 선정됐다. 월드와 TFH는 AMPC 운영에 관여하지 않는다.

각 기관은 오브가 수집한 데이터에서 파생된, 분산 저장된 암호화 코드 일부를 보관하는 ‘노드’로 활동한다. 인증이 필요할 때는 분산된 데이터 조각들이 각 노드에서 독립적으로 연산되며, 최종적으로 ‘일치’ 또는 ‘'불일치’라는 이진 결과만 반환된다. 이 과정에서 원본 홍채 정보나 수치 코드 전체가 한곳에 모이지 않는다.

홍채의 주요 특징을 추출하는 데 사용되는 ‘홍채 마스크’ 역시 비밀 분산 방식으로 처리돼 평문 형태로는 어디에도 존재하지 않는다. 월드는 엔비디아 H100 GPU를 활용해 초당 최대 5000만 건의 쌍별 고유성 비교를 수행할 수 있다고 밝혔다.

이전 버전에서는 등록 과정을 판별하기 위해 쌍별 해밍 거리를 평문으로 계산했지만, AMPC에서는 오직 이진 결과만 공개된다. 사용자가 일치하는지 여부만 알려지는 방식으로, 개인정보 보호 수준이 강화됐다.

KAIST의 AMPC 네트워크 참여로 미국, 유럽에 이어 아시아에 노드가 구축되면서 글로벌 분산 체계가 확대됐다. 이는 국내 연구진이 차세대 암호화 기술 개발에 참여하는 계기가 되고 있다.

월드의 기술은 생체정보 수집에 대한 우려, 기술 접근성의 불평등 등 논쟁적인 측면도 있다. 그러나 AI가 인간을 모방할 수 있는 시대에 디지털 공간에서 신뢰를 유지하는 방법에 대한 논의는 계속되고 있다.

10월은 미국 국토안보부와 사이버보안 인프라 보안국(CISA)이 2004년부터 지정한 ‘사이버보안 인식의 달(Cybersecurity Awareness Month)’이다. 올해는 ‘안전한 온라인 활동(Secure Our World)’을 주제로 전 세계적으로 사이버 보안 인식 제고 캠페인이 진행되고 있다.