LG AI연구원, NAACL 2025 '최고논문상'… 생성형 AI 평가 기준 제시

LG AI연구원이 생성형 인공지능(AI) 모델을 평가하는 새로운 방식을 제시, 북미 전산언어학회(NAACL) 2025에서 ‘최고논문상(Best Paper Award)’을 수상했다. 최고논문상은 자연어처리(NLP) 분야에서 새로운 연구 방향을 제시하거나 중요한 문제를 해결한 연구 중 올해 가장 혁신적이고 중요성이 높다고 평가를 받은 연구가 선정된다. NAACL 2025에 채택된 1400편이 넘는 논문 중 단 하나만 선정해 수여한다.

이번에 최고논문상을 받은 연구는 생성형 AI 모델 성능을 평가하는 ‘빅젠 벤치(BIGGEN BENCH)’다. 서민준 KAIST 교수 연구팀이 주도한 이번 연구에는 연세대, 코넬대, 일리노이대, MIT, 워싱턴대 등 여러 대학의 연구진이 함께 참여했다. 논문 1 저자인 김승원 카네기멜론대 박사과정 연구생은 LG AI연구원 초지능랩의 인턴 과정 중 이문태 초지능랩장, 이경재 데이터 스쿼드 리더, 서민준 KAIST 교수 연구팀과 함께 연구를 수행했다.

기존 생성형 AI 모델 평가 방식은 ‘유용성’이나 ‘무해성’ 같은 추상적인 지표에 의존하고 있어, 사람이 평가했을 때의 결과와 차이가 발생하며 모델의 세부 역량을 측정하기 어려운 한계가 있었다. 이에 비해 ‘빅젠 벤치’는 △지시사항 수행 △논리적 추론 △도구 사용 능력 △안전성 △다양한 언어 및 문화적 맥락 이해 능력 등 9가지 핵심 역량을 기준으로 765개 평가 항목을 설정해 AI 모델의 성능을 종합적으로 평가한다. 이 평가 방법은 실제 사람의 평가 방식을 모방해 다양한 상황과 주관적 요소를 반영한 결과를 도출할 수 있다.

LG AI연구원은 빅젠 벤치를 사용해 103개의 생성형 AI 모델을 평가한 결과, 전문가 집단과의 교차 검증에서 높은 신뢰도와 타당도를 보여 새로운 벤치마크로서의 가능성을 확인했다. 이문태 LG AI연구원 초지능랩장은 “빅젠 벤치는 생성형 AI의 다양한 능력을 객관적이고 종합적으로 평가할 수 있도록 설계됐으며, 기존 벤치마크들의 한계를 극복하고 인간의 정교한 평가기준에 부합하는 장점이 있다”고 말했다.

LG AI연구원은 이 연구 과정에서 평가자 역할을 하는 AI 모델 ‘프로메테우스-2(Prometheus-2)’도 오픈소스로 공개했다. 프로메테우스-2는 글로벌 상용 모델인 GPT-4와 유사한 성능을 보이며 높은 평가 신뢰도를 기록했다. 이로써 LG AI연구원은 AI 모델의 성능 평가 방법을 표준화하는 한편, 후속 연구를 통해 세부 항목별 성능을 자동으로 평가할 수 있는 시스템 개발도 진행 중이다.

서민준 KAIST 교수는 “빅젠 벤치는 생성형 AI 모델을 평가할 때 실제 사용자가 느끼는 실용성을 지표화할 수 있다는 점이 가장 큰 장점”이라며 “빅젠 벤치에서 좋은 결과를 얻는다는 것은 실제 사용 시 만족스러운 성능을 보이는 생성형 AI 모델이라는 의미”라고 강조했다.

LG AI연구원은 2020년 12월 출범 이후 NAACL을 비롯해, NeurIPS, AAAI, CVPR, ICML, ACL 등 AI의 각 분야별 글로벌 최상위 학회에서 234편의 논문을 발표했다. 지난해 NAACL 2024에서 AI 모델의 문화적 편견에 관한 분석을 통한 AI 시스템의 안정성 및 공정성을 주제로 발표한 연구 논문이 ‘소셜임팩트상(Social Impact Award)’을 수상한 바 있다. 또 2022년부터 현재까지 국내 120건, 국제(PCT) 108건 등 총 228건의 특허를 출원하며 미래 AI 기술을 선도해가고 있다.

한편, LG AI연구원이 최고논문상을 수상한 NAACL 2025는 ACL, EMNLP와 함께 세계 3대 자연어 처리 학회로 꼽힌다. 자연어처리 학회는 사람과 인공지능의 언어 사이의 상호작용에 관한 연구 성과를 발표하고 토론하는 학술 행사로, 대형언어모델(LLM) 등장 이후 연구 분야의 깊이와 범위가 확장되면서 연구자들이 최신 연구 성과를 공유하고 협업을 논의할 수 있는 중요한 기회의 장으로 자리 잡았다.