과기정통부, 韓 대표 LLM 모델 평가 위한 데이터셋 구축

과학기술정보통신부가 국내 독자 인공지능(AI) 파운데이션 모델 개발 평가를 위한 성능 평가 데이터셋을 구축한다고 17일 밝혔다.

과기정통부는 “글로벌 빅테크 기업 중심 생성형 AI 등장으로 대부분의 성능 평가 지표를 영어권의 평가지표로 활용하며 국내 서비스 이용 환경 등을 충분히 반영하지 못하는 한계가 있다”며 “우리나라의 문화, 사회적 가치 등을 반영한 AI 모델을 평가하기 위해 데이터셋 구축을 추진한다”고 밝혔다.

이를 위해 총 3개 과제에 8억원씩 총 24억 원을 투입한다. 올해에는 대형언어모형(LLM)의 수학 풀이 능력 평가 데이터, 한국형 지식을 평가하기 위한 주제별 질의-정답 및 추론 데이터, 장문 문맥에서 다양한 과업에 대한 성능평가 데이터 등을 구축한다.

향후 이미지·영상·음성 등 다양한 형태의 데이터를 이해할 수 있는 멀티모달, 스스로 행동하는 에이전트 등을 평가하기 위한 데이터셋을 구축해 나갈 계획이다.

과기정통부는 한국지능정보사회진흥원 성능 평가 데이터셋 구축 사업 수행기관을 오는 8월 7일까지 공개 모집한다. 사업 참여를 희망하는 기업·기관은 초거대 AI 또는 자연어처리, 멀티모달 AI 등 대규모 데에터 모음(데이터셋) 기반의 AI 개발 역량을 갖춘 기업·기관이 1개 이상 수행기관 연합체(컨소시엄)에 포함돼야 한다.