AMD가 자이프라(Zyphra)와 함께 개발한 대규모 전문가 혼합(Mixture-of-Experts, MoE) 모델 ‘ZAYA1’이 업계의 주목을 받았다.
이번 성과는 AMD 인스팅트(Instinct) MI300X GPU와 펜산도(Pensando) 네트워킹, ROCm 오픈 소프트웨어 스택을 기반으로 구현된 것으로, 대규모 AI 모델 학습에서 AMD 하드웨어의 경쟁력을 입증했다.
자이프라가 공개한 기술 보고서에 따르면, ZAYA1은 추론, 수학, 코딩 등 다양한 영역에서 기존 오픈소스 모델과 비교해 동등하거나 더 나은 성능을 보여줬다. 특히 83억 개 파라미터 중 활성 파라미터가 7억6000만 개에 불과한 ZAYA1 Base 모델은 Qwen3-4B, Gemma3-12B, Llama3-8B, OLMoE 등 주요 모델과 성능 면에서 경쟁력을 확보했다.
AMD 인스팅트 MI300X GPU는 192GB의 고대역폭 메모리를 탑재해 텐서 샤딩(tensor sharding) 같은 복잡한 절차 없이 학습 효율성을 크게 높였다. 또한, AMD 최적화 분산 I/O를 통해 모델 저장 속도가 10배 이상 빨라져 학습 안정성과 효율성이 개선됐다. 이는 대규모 AI 워크로드에서 비용과 복잡성을 줄이는 데 중요한 의미를 가진다.
에마드 바르숨(Emad Barsoum) AMD 인공지능 그룹 부사장은 “이번 성과는 AMD 인스팅트 GPU와 펜산도 네트워킹이 복잡한 대규모 모델 학습에서 제공하는 유연성과 성능을 보여주는 사례”라고 강조했다. 크리틱 푸탈라스(Krithik Puthalath) 자이프라 CEO는 “효율성은 자이프라의 핵심 철학이며, 모델 아키텍처 설계부터 학습 알고리즘, 하드웨어 선택까지 모든 과정에 반영됐다”고 밝혔다. 그는 AMD 및 IBM과의 협력을 통해 차세대 멀티모달 파운데이션 모델을 구축할 계획임을 시사했다.
이번 협력은 AMD와 IBM의 공동 엔지니어링 시스템을 기반으로 한 대규모 학습 클러스터 설계로 이어졌다. IBM 클라우드의 고성능 패브릭 및 스토리지 아키텍처와 AMD GPU가 결합해 ZAYA1의 사전 학습을 지원했다. 이는 고비용 전문가 활용이나 복잡한 분산 학습 절차 없이도 대규모 모델 학습을 가능하게 한 사례다.
현재 AI 반도체 시장은 엔비디아가 강력한 우위를 점하고 있지만, AMD는 MI300X GPU를 통해 대규모 AI 학습에서 실질적인 성과를 입증하며 존재감을 확대하고 있다. 특히 메모리 용량과 I/O 최적화에서 강점을 보여주며, 향후 멀티모달 모델 학습 경쟁에서 AMD가 새로운 선택지로 부상할 가능성이 높다.