SK텔레콤이 독자 구축한 대형언어모델(LLM) ‘A.X(에이닷 엑스) 3.1 라이트’를 오픈소스 커뮤니티 허깅페이스에 공개했다고 11일 밝혔다.
A.X 3.1 라이트는 SKT가 프롬 스크래치 방식으로 모델 구축과 데이터 학습 등 전 단계를 직접 진행했다. 70억 개(7B)의 매개변수를 기반으로 하는 경량 모델이다.
이 모델은 는 기존 에이닷 전화 통화요약에 적용했던 A.X 3.0 라이트 모델의 업그레이드 버전으로 이 모델의 강점인 경량화된 성능과 효율성을 이어받았다.
또 ‘A.X 3.1 라이트’는 같은 규모의 매개변수를 바탕으로 하는 자매 LLM인 ‘A.X 4.0 라이트’와 동등한 수준의 우수한 한국어 처리능력을 갖췄다.
대표적인 한국어 능력 평가 벤치마크인 KMMLU에서 ‘A.X 3.1 라이트’(61.70)는 ‘A.X 4.0 라이트’(64.15)대비 96% 수준의 성능을 나타났다. 한국어 및 한국 문화 벤치마크인 CLIcK에서는 ‘A.X 3.1 라이트’(71.22)가 ‘A.X 4.0 라이트’(69.97) 대비 102% 수준의 성능을 기록했다.
SKT는 향후 보유 LLM을 꾸준히 오픈소스로 공개할 예정이다. ‘A.X 3.1 라이트’ 후속인 매개변수 340억 개(34B)의 프롬 스크래치 모델인 A.X 3.1역시 이달 중 발표할 계획이다.
◇ 순수 자체개발 A.X 3 모델과 대규모 학습 기반 A.X 4 모델 ‘투 트랙 전략’
SKT는 프롬 스크래치 방식 개발 등 LLM 관련 기술 역량을 지속 고도화할 예정이다.
SKT는 2018년부터 AI 언어 모델을 개발해 2019년 KoBERT를 고객센터 챗봇 등에 활용하기 시작했다. 2020년 국내 최초로 GPT2를 한국어로 개발해 오픈소스로 공개한 바 있다. 2022년 선보인 A.(에이닷) 서비스에는 자체 개발한 A.X 모델을 적용해 자유 주제로 대화가 가능하게 했다. 2024년 A.X 3.0 모델을 에이닷 전화 통화요약 기능에 적용하기도 했다.
SKT는 A.X 3 계열의 소버린 AI 모델로 자생력 있는 기술을 갖추는 동시에 최적화된 성능·효율이 필요한 영역에는 대규모 학습(CPT, Continual Pre-Training)에 기반한 A.X 4 계열 모델을 활용할 예정이다.
이러한 투 트랙전략을 통해 국내 기업들이 각자의 환경에서 AI 기술을 보다 쉽게 활용할 수 있는 다양한 선택지를 제공한다는 방침이다. 또한 기존 모델의 성능을 대폭 혁신할 수 있도록 그래픽처리장치(GPU) 자원을 확충하고 개발 역량을 높여 나갈 계획이다.
SKT는 향후 정부가 추진하는 ‘독자 AI 파운데이션 모델 개발사업’도 지원할 예정이다. 김태윤 SK텔레콤 파운데이션 모델 담당은 "꾸준히 쌓아 온 한국형 LLM 개발 역량을 바탕으로 AI 생태계 자립성을 높이고, 국가 AI 경쟁력 제고에 기여하도록 노력할 것”이라고 밝혔다.