엔비디아는 음성으로 3D 캐릭터의 실시간 얼굴 애니메이션을 생성하는 ‘오디오투페이스(Audio2Face)’ 기술을 오픈소스로 공개한다고 25일 밝혔다.
오디오투페이스는 생성형 AI를 활용해 오디오 입력을 바탕으로 사실적인 얼굴 애니메이션을 만드는 기술이다. 음성의 음소와 억양 등 음향적 특징을 분석해 애니메이션 데이터로 변환한 뒤 캐릭터 얼굴 표정에 매핑한다.
이 기술은 오프라인 콘텐츠 제작뿐만 아니라 실시간 스트리밍을 통한 AI 캐릭터와의 역동적 상호작용도 지원한다. 정밀한 립싱크와 감정 표현이 가능해 기존 수작업 애니메이션 대비 제작 시간을 크게 단축할 수 있다.
현재 컨바이, 코드마스터즈, GSC 게임 월드, 인월드 AI, 넷이즈, 리얼루전, 퍼펙트월드 게임즈, 스트림랩스 등 다수 게임 개발사와 소프트웨어 업체가 이 기술을 활용하고 있다.
3D 캐릭터 제작 플랫폼을 제공하는 리얼루전은 자사 툴인 아이클론, 캐릭터 크리에이터에 오디오투페이스를 통합했다. 엘비스 황 리얼루전 혁신부문 책임자는 “AI를 활용한 감정이 담긴 다국어 얼굴 애니메이션 생성과 고급 편집 도구 덕분에 고품질 캐릭터 애니메이션 제작이 수월해졌다”고 설명했다.
‘에이리언: 로그 인커전 이볼브드 에디션’ 개발사 서비오스의 유진 엘킨 게임 디렉터는 “립싱크와 얼굴 캡처 파이프라인을 간소화하면서 더욱 몰입감 있고 사실적인 캐릭터 경험을 제공할 수 있었다”고 평가했다.
엔비디아는 게임 개발용 RTX 키트의 최신 업데이트도 공개했다. RTX 뉴럴 텍스처 압축 SDK는 고품질 텍스처의 메모리 사용량을 품질 손실 없이 크게 줄이며, 매우 큰 텍스처 세트에 대한 라이브러리 최적화와 DX12 성능 향상을 포함한다.
RTX 글로벌 일루미네이션 SDK는 레이 트레이싱 기반 간접 조명 솔루션을 제공하며, 공간 해시 방사도 캐시 알고리즘 등 새로운 기능을 추가했다.
액티비전은 엔비디아 vGPU 기술을 활용해 100대의 기존 서버를 6대의 RTX GPU 기반 장치로 대체했다. 그 결과 서버 공간 사용량을 82%, 전력 사용량을 72% 줄이면서 3000명의 개발자와 500개 이상 시스템에서 하루 25만 개 이상의 작업을 처리할 수 있게 됐다.
엔비디아는 모든 게임과 3D 애플리케이션 개발자가 오디오투페이스 모델과 SDK, 훈련 프레임워크를 무료로 활용할 수 있도록 완전 오픈소스로 공개한다고 밝혔다.