인공지능(AI)도 사람처럼 ‘건망증’에 시달린다. 새로운 걸 배우면 예전에 배운 건 까먹는 식이다. 구글이 이 고질적 문제를 해결할 새로운 학습 방법을 내놨다. 마치 인간의 뇌가 평생 학습하면서도 과거 기억을 유지하는 것처럼, AI도 그렇게 만들겠다는 것이다.
구글 리서치는 7일(현지시간) ‘네스티드 러닝(Nested Learning·중첩 학습)’이라는 새로운 머신러닝 패러다임을 공개했다. 이 연구는 12월 AI 학회 ’뉴립스(NeurIPS) 2025‘에서 발표될 예정이다.
◇ AI의 고질병 ‘치명적 망각’
현재 챗GPT 같은 대형언어모델(LLM)은 학습 방식에 근본적 한계가 있다. 새로운 작업을 배우면 이전에 잘하던 일을 못하게 되는 ‘치명적 망각(catastrophic forgetting)’ 현상이 발생한다.
이는 인간의 뇌와 정반대다. 사람의 뇌는 ‘신경가소성’을 통해 새로운 경험과 학습에 따라 구조를 바꾸면서도, 과거 기억과 능력을 유지한다. 반면 현재 LLM은 학습 당시 입력된 정보나, 대화 중 주어진 즉각적인 맥락에만 의존한다.
그동안 연구자들은 AI 구조를 살짝 바꾸거나 학습 규칙을 개선하는 식으로 이 문제를 해결하려 했다. 하지만 구글 연구팀은 “AI의 구조(아키텍처)와 학습 알고리즘을 별개로 취급해왔기 때문에 진정한 통합 학습 시스템을 만들지 못했다”고 지적했다.
◇ 뇌의 다층 학습 구조를 AI로 구현
네스티드 러닝의 핵심은 하나의 AI 모델을 여러 개의 작은 학습 문제들이 중첩된 시스템으로 보는 것이다. 각 층위는 각자의 정보 흐름과 업데이트 빈도를 가진다. 마치 사람의 뇌가 단기 기억, 장기 기억 등 여러 시간 척도로 정보를 처리하는 것과 비슷하다.
구글은 이 원리를 적용해 ‘호프(Hope)’라는 실험 모델을 만들었다. 호프는 스스로를 수정하는 구조를 갖췄으며, ‘연속체 메모리 시스템’을 통해 서로 다른 빈도로 업데이트되는 여러 메모리 모듈을 운영한다.
실험 결과 호프는 기존 최신 모델들보다 언어 이해력이 뛰어났고, 특히 긴 맥락의 정보를 관리하는 능력에서 우수한 성능을 보였다.
구글 연구팀은 “네스티드 러닝 패러다임이 현재 LLM의 제한적이고 망각하는 특성과 인간 뇌의 놀라운 지속 학습 능력 사이의 격차를 줄이는 견고한 기반을 제공한다”며 “연구 커뮤니티가 이 새로운 차원을 탐구하고 차세대 자가 개선 AI를 구축하는 데 함께하길 기대한다”고 밝혔다.