영국 본사를 둔 인공지능(AI) 음성 기술 기업 일레븐랩스(ElevenLabs)가 한국을 아시아 진출의 핵심 거점으로 선택했다. 기업가치 66억 달러(약 9조7000억원)로 평가받는 이 스타트업은 21일 서울 JW메리어트호텔에서 기자간담회를 열고 한국 시장 공식 진출을 선언했다.
마티 스타니셰프스키(Mati Staniszewski) 일레븐랩스 공동창업자 겸 최고경영자(CEO)는 “한국은 AI 도입률이 글로벌 평균의 2배에 달하고, 세계에서 가장 까다로운 서비스 기준을 가진 시장”이라며 “한국에서 통하면 어디서든 통한다는 확신으로 이곳을 선택했다”고 말했다.
일레븐랩스는 현재 월 활성 사용자 5000만명을 보유하고 있다. 포춘 500대 기업 중 75%가 고객사다. 국내에서는 크래프톤, MBC, SBS, 이스트소프트 등이 이미 일레븐랩스의 AI 음성 기술을 활용하고 있다.
스타니셰프스키 CEO는 2022년 창업 직후 한국에서 열린 인터스피치 컨퍼런스에 참석해 첫 모델을 선보인 인연을 언급하며 “4년 만에 한국어에 완벽히 최적화된 모델을 가지고 돌아왔다”며 “마치 고향에 돌아온 것 같다”고 말했다.
◇ K-콘텐츠 더빙 혁신 “2주 작업 3일로 단축”
일레븐랩스의 핵심 경쟁력은 초실시간 AI 음성 합성 기술이다. 70개 이상 언어를 지원하면서도 원작의 감정과 뉘앙스를 재현한다. 단순 번역을 넘어 웃음, 한숨, 숨소리까지 그대로 전달하는 것이 특징이다. 홍상원 일레븐랩스 한국지사장은 “한 드라마 제작사는 10개 언어 더빙 작업을 2주에서 3일로 단축했다”며 “제작 비용은 최대 95% 절감되고, 시간은 90% 단축되는 효과가 있다”고 설명했다.
실제 간담회에서 시연된 한국어 음성 합성은 김유정의 소설을 여러 등장인물의 목소리로 구분해 낭독하는 수준이었다. 별도의 지시 없이도 AI가 맥락을 파악해 감정과 억양을 자동으로 조절했다. MBC C&I가 일레븐랩스의 음성 합성 기술로 제작한 작품은 국내외 AI 영화제를 석권했다. 이스트소프트의 AI 더빙 서비스 ‘페르소다’는 출시 1년 만에 20만 가입자를 확보했으며, 월 수만 분 단위의 콘텐츠 현지화가 진행되고 있다.
AI 에이전트 분야에서도 성과가 확인되고 있다. 약 3000만명의 고객을 보유한 유럽의 한 대형 디지털은행은 일레븐랩스의 AI 에이전트 플랫폼을 도입한 결과, 고객 문의 처리 시간이 15분에서 2분으로 85% 단축됐다. 신용카드 관련 문의의 50%를 AI가 처리하면서도 고객 만족도는 35% 향상됐다. 이 같은 성과는 0.5초 미만의 초저지연 응답 속도에서 비롯된다.
스타니셰프스키 CEO는 “타사의 엔드투엔드(Speech-to-Speech) 방식은 감사 및 관측이 어렵지만, 우리는 모델 고도화로 스트리밍 방식의 지연시간을 크게 감소시켰다”고 설명했다.
◇ 구글보다 낮은 오류율… 한국어 난제 돌파
일레븐랩스가 한국 시장에 자신감을 보이는 배경에는 한국어 구현 기술이 있다. 한국어는 문맥에 따라 의미가 달라지고 발음과 억양이 까다로워 AI 음성 기술 구현이 어려운 언어로 꼽힌다. 스타니셰프스키 CEO는 “한국어는 매우 어려운 언어지만, 우리는 돌파구를 찾았다”며 “우리의 음성 인식(STT) 모델은 오류율 10%로, 구글의 12.7%보다 낮은 수준”이라고 밝혔다.
일레븐랩스 창업 스토리는 폴란드의 독특한 더빙 문화에서 시작됐다. 폴란드에서는 외국 영화를 방영할 때 모든 등장인물의 대사를 단 한 명의 성우가 더빙한다. 남녀노소 구분 없이 한 사람의 목소리로만 들려 시청 경험이 형편없다. 스타니셰프스키 CEO와 피오트르 다브로프스키(Piotr Dabkowski) 공동창업자는 고등학교 때부터 15년간 함께한 절친으로, 이 문제를 해결하기 위해 2022년 일레븐랩스를 설립했다.
그는 “폴란드를 포함한 유럽, 그리고 한국 같은 비영어권 국가의 창업자들은 콘텐츠 품질 문제를 직접 체감하며 자란다”며 “미국이나 영국 기업들이 영어에만 최적화하는 동안, 우리는 처음부터 다국어 지원에 집중했다”고 설명했다.
현재 일레븐랩스의 음성 마켓플레이스에는 다양한 사투리와 연령대를 포함한 400개의 한국어 음성이 등록돼 있다. 회사는 향후 한국 유명인 음성도 마켓플레이스에 추가할 계획이다. 스타니셰프스키 CEO는 “한국의 K-팝과 K-드라마 스타들과 협력 논의를 진행 중”이라며 “제안이 있으면 언제든 환영한다”고 말했다.
◇ 보이스피싱 막는 3C 프레임워크 공개
AI 음성 기술의 발전과 함께 보이스피싱 등 악용 우려도 커지고 있다. 일레븐랩스는 이에 대응하기 위해 ‘3C 프레임워크’를 제시했다. 가장 먼저 강조한 것은 동의(Consent) 절차다. 모든 음성은 실시간 본인 인증을 거쳐야 하며, 상업적 사용의 경우 더욱 엄격한 다단계 검증이 필수다. 사용 기간, 범위, AI 학습 활용 여부까지 스마트 계약으로 투명하게 규정한다.
이와 함께 통제(Control) 시스템도 구축했다. 일레븐랩스는 99.5% 정확도로 AI 음성을 탐지하는 ‘AI 스피치 클래시파이어’를 개발했다. 모든 콘텐츠의 출처는 C2PA 인증과 콘텐츠 크레덴셜로 영구 기록되며, 실시간 모더레이션이 악용을 차단한다. 음성 제공자에 대한 보상(Compensation) 체계도 마련했다. 보이스 라이브러리를 통해 지속적인 수익을 창출할 수 있도록 한 것이다. 일레븐랩스는 최근 음성 제공자 커뮤니티에 1100만 달러(약 162억원)를 지급했다.
스타니셰프스키 CEO는 “음성은 좋은 인증 수단은 아니지만, AI 생성 음성을 탐지하는 툴은 충분히 개발 가능하다”며 “미국, 영국의 보안 기관, 대학, 한국 기업들과 협력해 관련 기술을 개발하고 있다”고 말했다. 홍상원 지사장은 “한국에서는 개인정보보호법 강화와 2026년 AI 프레임워크 도입으로 사전 고지와 명시적 동의의 중요성이 더 커지고 있다”며 “3C는 혁신의 속도에 윤리의 브레이크를 장착한 것”이라고 설명했다.
일레븐랩스는 네이버와 LG유플러스로부터 투자를 받았다. 두 회사는 한국어 모델 최적화와 현지화를 지원하고 있다. 홍상원 지사장은 “구체적인 협력 내용은 아직 공개할 수 없지만, 향후 몇 개월 내 발표할 것”이라며 “이들 투자사는 한국어 뉘앙스 이해와 적합한 인재 영입에 많은 조언을 주고 있다”고 밝혔다.
일레븐랩스는 이번 진출을 계기로 한국 전담 엔지니어링 팀을 구축한다. 현장에서 고객사 시스템을 이해하고 최적화 작업을 지원하는 로컬 팀이다. 홍 지사장은 “한국 시장의 보이스 AI 규모는 보수적으로 잡아도 3400억원 이상이며, 음성 인터페이스의 중요성이 커지면서 전체 AI 시장의 15~20%까지 확대될 것”이라고 전망했다.