김정남 KAIST 교수 “AI 환각 완전 제거 불가, 사회적 대응 필요”

“인공지능(AI)가 내뱉는 할루시네이션(환각) 현상은 완전히 제거가 불가능합니다. 이는 개인의 책임으로 돌리기보다는 사회적인 공동 대응이 필요합니다.”

김정남 KAIST 교수의 말이다. 그는 1일 서울 중구 포스트타워에서 열린 ‘AI·디지털 사회전환 심포지엄’ 세션을 통해 AI 할루시네이션 현상은 현재도 해결할 수 없는 문제라고 지적했다.

김 교수가 말하는 할루시네이션 현상은 AI가 틀린 정보를 자신있게 사실처럼 말하는 현상이다. 그는 “인간은 환각에 빠지면 혼자 끝나지만, AI는 정보가 전달되고 다시 데이터 바다로 돌아가 잘못된 데이터가 더 많이 돌아다닌다”고 설명했다.

할루시네이션 현상이 지속적으로 발생하는 이유로는 필연적인 과정이라고 설명했다. “AI는 데이터를 압축하고 파라미터화하는 과정에서 정보를 잃어버린다”면서 “확률 기반으로 다음 단어를 예측하며 문장을 생성하기 때문에 첫 번째 문장이 틀리면 오류 확률이 계속 높아진다”고 했다.

김 교수에 따르면 할루시네이션 현상에 가장 심각한 분야는 법률 분야다. 그는 스탠퍼드대의 지난해 연구를 인용하며 법률 분야에서 환각현상이 75% 이상 발생한다고 설명했다. 이어 의료 분야는 2.3% 수준으로 낮지만 사람의 목숨을 다루는 분야여서 심각하다고 분석했다.

김 교수에 따르면 실제 사례도 나오고 있다. 그는 “지난 2023년 마타 아비앙스카 사건에서는 변호사가 챗GPT로 법무 연구를 수행하고 가짜 판례와 논문을 법원에 제출해 제재를 받았다”며 “지난해 에어캐나다 사건은 챗봇이 잘못된 정보를 제공했고, 법원은 ‘챗봇이 게시한 정보에도 회사의 책임이 있다’며 유죄 판결을 내렸다”고 지적했다. 기업들의 우려도 크다. 77%의 기업이 AI 환각을 심각하게 우려하고 있으며, 72%는 이미 AI를 활용 중이다. 47%의 기업들은 직원을 대상으로 AI 할루시네이션 위험 교육을 실시하고 있는 것으로 나타났다.

AI 기업들이 평가과정에서 더 높은 점수를 얻기 위해 할루시네이션 현상이 일어나도 추측성 답변을 확신하게 대답하게 한다고도 지적했다. 그는 “현재 벤치마크 평가 시스템은 ‘모르겠다’는 답변을 내면 오답 처리를 한다”며 “성능 평가를 높이려면 추측성 답변을 용감하게 할수록 유리하기 때문에 환각이 방치되거나 더 나빠질 수 있다”고 설명했다.

김 교수는 “전문가들이 일관되게 AI 환각의 완전 제거는 불가능하다고 말한다”며 대응 방안을 제시했다. 그는 “의료·법률·금융처럼 고위험 분야는 전문가 3단계 검증과 문서화로 추적 가능하게 만들어야 한다”면서 “저위험 업무부터 단계적으로 도입하고, 사용자들에게 AI가 틀릴 수 있다는 것을 교육하는 것만으로도 10~20% 환각을 줄일 수 있다”고 말했다. 이어 “무엇보다 중요한 것은 사회적 대응”이라며 “AI 환각 문제를 개인의 책임으로 다루게 하는 것은 매우 무책임하다. 정부의 최소 안전성 제도화, 기업의 불확실성 표시, 사용자의 오류 신고 등 정부·기업·시민의 공동 대응이 필요하다”고 덧붙였다.