인공지능(AI)을 활용한 범죄와 이를 막는 AI. 보이스피싱 관련 AI 대 AI가 격돌하는 상황이 펼쳐지고 있다. 딥보이스와 같은 AI 기술을 악용한 보이스피싱 범죄가 발생하는 가운데 정부와 기업, 대학은 AI를 활용해 이를 막고자 나서고 있다.
금융감독원에 따르면, 보이스피싱 발생 1인당 피해액은 2019년 1134만 원으로 최고 기록을 찍은 후 감소세를 보이다가 지난해 상반기에 다시 1600만 원으로 역대 최고 수준에 달했다. 최근 7개월 동안 국내에서 발생한 보이스피싱 건수는 2만 3000건으로 피해액은 3200억 원을 넘어섰다.
보이스피싱은 최근 AI 기술 발전으로 심각성이 더 커졌다. 딥보이스 기술로 가족 목소리를 학습해 피해자를 교묘히 속이고 있다. AI 기술이 발달하면서 짧은 음성 학습으로도 목소리를 비슷하게 구현할 수 있게 되면서 이를 범죄에 악용하는 경우가 많아지고 있는 것이다.
◇ 민·관 힘 모아 보이스피싱 예방 AI 기술 개발
최근 3일 개인정보보호위원회, 과학기술정보통신부, 금융위원회, 금융감독원, 국립과학수사연구원, 한국인터넷진흥원은 ‘AI·데이터 기반 보이스피싱 예방을 위한 상호 업무협약’을 체결했다. 정부가 보이스피싱 대응한 AI 기술·서비스 개발을 위해 정부 기관뿐만 아니라 민간 기업과 구체적인 사업을 추진한다.
앞서 11월 정부는 데이터 경제 활성화 추진 과제에 보이스피싱 확산 방지를 위한 민간의 AI 서비스 개발 지원을 포함했다. 올해 4월에도 민생침해 금융범죄 대응·협력 강화를 위한 통신·금융부문 간 업무협약을 체결한 바 있다.
이번 협약으로 통신사 등 민간기업은 보이스피싱 예방 A I기술과 서비스 개발을 위한 보이스피싱 통화데이터를 사용할 수 있다. 이를 AI 모델 학습과 성능 등에 활용할 수 있게 된 것이다. 금감원은 보이스피싱 피해자 통화 음성데이터를 과학수사 지원 목적으로 국과수에 지속 제공하기로 했다. 이 데이터는 비식별화 등 전처리 과정을 통해 학습에 필요한 데이터로서 민간에 제공된다.
개인정보위와 KISA는 데이터 제공·수집·이용 과정 중 발생할 수 있는 개인정보 보호법상에 문제에 대해 검토하고 규제개선 방안 등 만든다. 이를 통해 안전한 데이터 활용을 지원, 가명정보 활용 종합컨설팅 지원 사업 등 데이터 가명처리, 안전조치 이행 과정 등을 지원한다. AI 개발을 위한 통신·금융업계의 협력을 증진하고 지원한다.
개인정보위, 과기정통부, 금융위는 통신·금융업계 협력 기반의 보이스피싱 예방 AI 기술·서비스를 적극적으로 발굴하고, 관련법 저촉사항 없이 추진할 수 있도록 법령해석 및 규제개선 방안을 모색한다. 필요시 서비스 개발 과정에서 개인정보 법령 준수방안을 개인정보위와 함께 마련하고 사업자가 이를 이행한 경우 개인정보 보호법상 불이익한 처분을 하지 않는 개인정보위 사전적정성 검토제도 활용할 예정이다.
정부 주도로 보이스피싱 대응 기술개발(R&D) 사업도 기획해 추진한다. 과기정통부와 개인정보위는 혁신적인 보이스피싱 탐지·예방 기술을 개발할 수 있도록 정부 주도 기술개발사업을 기획·추진한다. 과기정통부는 관련 전문가와 함께 구체적인 사업을 기획하고 예산을 지원하며, 개인정보위는 연구 과정 중 개인정보 보호법 관련 규제 개선사항을 발굴하고 필요시 실증특례도 추진한다.
◇ 통신사. AI로 보이스피싱 탐지 기술 개발
SKT는 AI로 통화 내용을 분석해 보이스피싱 의심 여부를 실시간 판별하고 탐지·예방 AI 서비스를 개발하고 있다. 보이스피싱에 사용되는 주요 키워드나 패턴을 탐지한다. 이 과정에서 통화 데이터가 외부로 유출되지 않게 하기 위해 단말기 내 데이터 분석이 처리되는 온디바이스 AI를 적용한다.
온디바이스 AI 적용을 위한 소형 언어모델(sLLM) 구현에는 금감원과 국과수가 보유한 양질의 보이스피싱 통화데이터가 사용된다. 국과수가 약 2만 1천 건의 통화데이터를 텍스트로 변환해 개인정보위·KISA의 자문을 받아 피해자의 이름, 계좌번호 등 민감한 정보를 안전하게 비식별처리해 SKT에 제공하는 방안을 마련했다. 현재 데이터의 가명처리 등이 진행 중이며 6월 중 처리를 완료해 제공할 예정이다.
SKT는 제공받은 데이터를 모델 미세 조정(fine tuning)해 성능을 정교화하고 이를 시제품에 담아 검증한 후 서비스를 출시할 예정이다. 앞으로도 데이터를 제공받아 모델 업데이트에 활용한다.
LG유플러스도 한국인터넷진흥원(KISA) 등 기관이 보유한 데이터를 받아 분석한다. LG유플러스는 최근 경찰청에 보이스피싱 시나리오, 범죄자 발언 등 실제 신고 데이터까지 제공을 요청했다. 최근 보이스피싱 예방을 위한 ‘고객피해방지 분석시스템’도 구축했다.
◇ 보이스피싱에 악용된 딥보이스 검출 기술 국내 대학서 연구
숭실대 AI안전연구센터(AISPC)에서는 합성된 AI 음성 악용을 감지할 수 있는 오디오 음성 추출 기술과 탐지할 수 있는 모델 시스템을 만들고 있다. 앱을 통해 실시간으로 딥보이스 음성을 탐지해서 실제 목소리인지 가짜 목소리인지 구분한다. 숭실대는 이러한 기술과 논문을 지난 4월 서울 코엑스 컨벤션센터에서 열린 세계 권위 음성 학회인 ‘ICASSP 2024’에서 선보였다.
홍기훈 숭실대 전자정보공학부 교수는 “목소리가 가짜 목소리인지 구분해 실시간으로 퍼센트를 보여줄 수 있는 기술”이라며 “기관 데이터를 활용하면 데이터의 질이 좋기 때문에 정확도가 97%까지 나오고 있다”며 “필드 데이터는 데이터의 질이 낮아 정확도가 90%로 떨어지는 경향이 있다”고 설명했다.