엔비디아, AI 기반 얼굴 애니메이션 기술 ‘오디오투페이스’ 오픈소스 공개

엔비디아는 음성으로 3D 캐릭터의 실시간 얼굴 애니메이션을 생성하는 ‘오디오투페이스(Audio2Face)’ 기술을 오픈소스로 공개한다고 25일 밝혔다.

오디오투페이스는 생성형 AI를 활용해 오디오 입력을 바탕으로 사실적인 얼굴 애니메이션을 만드는 기술이다. 음성의 음소와 억양 등 음향적 특징을 분석해 애니메이션 데이터로 변환한 뒤 캐릭터 얼굴 표정에 매핑한다.

이 기술은 오프라인 콘텐츠 제작뿐만 아니라 실시간 스트리밍을 통한 AI 캐릭터와의 역동적 상호작용도 지원한다. 정밀한 립싱크와 감정 표현이 가능해 기존 수작업 애니메이션 대비 제작 시간을 크게 단축할 수 있다.

현재 컨바이, 코드마스터즈, GSC 게임 월드, 인월드 AI, 넷이즈, 리얼루전, 퍼펙트월드 게임즈, 스트림랩스 등 다수 게임 개발사와 소프트웨어 업체가 이 기술을 활용하고 있다.

3D 캐릭터 제작 플랫폼을 제공하는 리얼루전은 자사 툴인 아이클론, 캐릭터 크리에이터에 오디오투페이스를 통합했다. 엘비스 황 리얼루전 혁신부문 책임자는 “AI를 활용한 감정이 담긴 다국어 얼굴 애니메이션 생성과 고급 편집 도구 덕분에 고품질 캐릭터 애니메이션 제작이 수월해졌다”고 설명했다.

‘에이리언: 로그 인커전 이볼브드 에디션’ 개발사 서비오스의 유진 엘킨 게임 디렉터는 “립싱크와 얼굴 캡처 파이프라인을 간소화하면서 더욱 몰입감 있고 사실적인 캐릭터 경험을 제공할 수 있었다”고 평가했다.

엔비디아는 게임 개발용 RTX 키트의 최신 업데이트도 공개했다. RTX 뉴럴 텍스처 압축 SDK는 고품질 텍스처의 메모리 사용량을 품질 손실 없이 크게 줄이며, 매우 큰 텍스처 세트에 대한 라이브러리 최적화와 DX12 성능 향상을 포함한다.

RTX 글로벌 일루미네이션 SDK는 레이 트레이싱 기반 간접 조명 솔루션을 제공하며, 공간 해시 방사도 캐시 알고리즘 등 새로운 기능을 추가했다.

액티비전은 엔비디아 vGPU 기술을 활용해 100대의 기존 서버를 6대의 RTX GPU 기반 장치로 대체했다. 그 결과 서버 공간 사용량을 82%, 전력 사용량을 72% 줄이면서 3000명의 개발자와 500개 이상 시스템에서 하루 25만 개 이상의 작업을 처리할 수 있게 됐다.

엔비디아는 모든 게임과 3D 애플리케이션 개발자가 오디오투페이스 모델과 SDK, 훈련 프레임워크를 무료로 활용할 수 있도록 완전 오픈소스로 공개한다고 밝혔다.