[인터뷰] 김명호 재능대 교수, AI 거짓말 고칠 방법 찾다

“대형언어모델(LLM)은 말을 만들어내는 엔진이지 사실을 말하는 엔진이 아닙니다.”

김명호 재능대 교수의 말이다. 그는 LLM이 계속해서 할루시네이션(환각) 현상을 일으키거나 목표 표류 현상에 빠지는 등 한계에서 벗어날 수 없는 고질적인 문제점에 대해 지적했다. “LLM은 아무리 발전해도 근본적인 한계가 명확하다”며 “우리는 주어진 목표와 지금까지 해온 일에 대해 행동 규범을 줌으로써 역할 통제하는 방식으로 한계를 벗어나는 방식을 제시한다”고 설명했다.

김 교수가 제시한 방법은 ‘구조화된 인지 루프(Structured Cognitive Loop, 이하 SCL)’라는 독자적 기술이다. LLM의 구조적 문제를 해결하는 새로운 접근법으로 볼 수 있다. 그는 “LLM은 좋은 도구지만, 이건 확률적으로 말을 만들어내는 엔진이지 사실을 말하는 엔진은 아니다”며 SCL 기술을 만든 이유에 대해 설명했다.

◇ “LLM, 해결할 수 없는 한계 존재”

김명호 교수가 제시한 SCL은 ‘행동 지능’을 구현하기 위한 기술이다. 행동 지능은 질문을 지시로 이해하고, 목표 달성을 위해 필요한 일련의 동작들을 순서대로 수행하는 능력을 의미한다. 김 교수는 “기존 LLM 중심의 AI 에이전트 구현 방식은 근본적인 한계가 있다”며 “△환각 현상 △기억 상실 △목표 표류라는 세 가지 문제점이 행동 지능 구현에 걸림돌이 되고 있다”고 설명했다.

가장 큰 문제는 할루시네이션 현상이다. 김 교수는 “LLM은 확률적으로 말을 만들어내는 엔진이지 사실을 말하는 엔진이 아니다”며 “아무리 많은 데이터로 학습해도 손실압축 원리에 의해 일부 정보를 규칙으로 대체하면서 거짓 정보를 생성하게 된다”고 설명했다. 기억 상실 문제도 심각하다. 김 교수에 따르면 LLM은 추론 윈도우를 벗어나는 정보가 쌓이면 이전 작업을 잊어버리고 같은 일을 반복하는 경향을 보인다. 이로 인해 지시를 수행하다가 원래 목표를 망각하고 엉뚱한 결과를 도출하는 문제가 생긴다. 그는 이러한 현상에 대해 자율주행과 빗대어 “환각은 브레이크를 밟아야 할 때 가속 페달을 밟는 것과 같고, 기억 상실은 같은 경로를 계속 돌고 있는 현상, 목표 표류는 목적지를 잊어버리고 아무 데나 서는 것과 같다”고 말했다.

◇ “SCL은 LLM의 인지구조를 만든다”

김 교수는 로드니 브룩스 아이로봇 창업자의 말을 인용하며 “LLM은 정말 좋은데, 통제가 되질 않는다”고 설명했다. 이에 대한 해결책으로 SCL을 활용해 인지 구조를 만들어 주는 것을 제시했다. 김 교수에 따르면 LLM에게 모든 작업을 일임하는 것이 아닌, 구조화된 인지 체계 안에서 제한적 역할만 수행하도록 지시하는 것이다. 이는 인간이 복잡한 업무를 처리할 때 ‘전체 구조 파악→우선 순위 선정→체크리스트 생성→단계별 진행’ 등 단계별로 일을 진행하는 방식과 유사하다는 것이 김 교수의 설명이다.

김 교수는 구체적으로는 주어진 목표와 작업 이력, 행동 규범을 바탕으로 LLM이 다음 단계의 도구만 추천하도록 역할을 제한하는 것을 우선한다고 설명했다. 외부화된 기억 시스템과 도구 효과 검증 메커니즘을 통해 환각과 반복 작업을 방지한다는 목적에서다. 이 방식으로 구현된 AI 에이전트는 △정확성(환각 현상 최소화) △투명성(의사결정 과정의 근거 제시) △재현성(동일 조건에서 동일 결과 보장) 등 세 가지 특징을 보인다.

그는 “기존 챗GPT 같은 시스템에 ‘서울과 제주 날씨를 확인해서 더 시원한 곳으로 여행을 갈 예정이니 목적지를 추천해달라’고 하면, 실제 날씨를 확인하지 않고 ‘제주가 평균적으로 시원하다’는 추측으로 답하는 경우가 많다”고 설명했다. 이어 “SCL은 반드시 실제 데이터를 확인한 후 결정을 내린다”고 덧붙였다.

◇ “SCL, 행동 지능 구현의 새로운 패러다임”

김 교수는 이날 인터뷰를 통해 SCL 아키텍처 기술이 글로벌 스탠다드로서 자리잡을 것이라고 자신감을 내비쳤다.

김 교수 연구팀이 개발한 ‘챗 원더(Chat Wonder)’는 SCL 기술과 정밀RAG(Precision RAG) 기술을 결합한 제품이다. 그는 “외부 문서를 참조해 답변 정확성을 높이는 기술인 정밀RAG를 활용했다”며 “색인 작업의 정밀도가 성패를 좌우한다”고 설명했다. 이어 “대형 LLM이 많은 데이터를 다 읽지 못하기 때문에 RAG가 필요하다”고 덧붙였다.

의료, 금융, 제조업 등 정확성과 투명성이 중요한 분야에서 활용 가능성에 대해서도 언급했다. 그는 “의료 분야에서 환각에 빠진 AI가 잘못된 약물 조합을 제안하거나 근거 없는 처방을 내리는 것은 매우 위험하다”며 산업 적용 시 정확성의 중요성을 강조했다.

향후 발전 계획으로는 MCP(Model Context Protocol) 연계를 통한 도구 다양화와 동적 메타 프롬프팅 기술 개발을 제시했다. 동적 메타 프롬프팅은 특정 도메인의 행동 규범을 자동 학습해 새로운 분야 적응력을 높이는 기술이다.

다만 현재는 기술 초기 단계로 대규모 환경에서의 성능 검증과 비용 최적화가 과제로 남아있다. 김 교수는 “LLM을 여러 번 호출해야 하므로 기존 방식보다 비용이 더 들어갈 것으로 예상되지만 그마저도 예측 가능한 수준”이라고 설명했다. 아울러 “창의성이 필요한 분야와 정확성이 요구되는 분야에서 사용하는 AI 에이전트는 구현 방법이 달라야 한다”며 “SCL은 행동 지능 구현의 새로운 패러다임이 될 수 있다”고 말했다.