요슈아 벤지오, AI 스스로 생존 목표 설정 “AGI 위험 막는 해결책 없다”

“인간 통제에 벗어난 인공지능(AI) 위험을 막을 완벽한 해결책이 없습니다. 정책·과학적 위험 관리가 필요합니다.”

AI 4대 석학으로 불리는 요슈아 벤지오(Yoshua Bengio) 캐나다 몬트리올대 교수가 11일 ‘AI SEOUL 2025’ 콘퍼런스에 참석해 인간 지능 수준을 능가하는 범용 인공지능(AGI)이 인간 통제에 벗어날 위험을 막을 완벽한 해결책이 없다고 경고했다. 이에 정책·과학적 대비가 필요하다는 견해를 밝혔다.

벤지오 교수는 최근 에이전트 AI 등 자율성을 갖춘 AI 위험에 대해 강조했다. “AI 시스템이 자율성을 가지게 될 경우, 인간의 통제에서 벗어날 가능성이 있다”며 “최근 연구에서도 AI가 스스로 생존하려는 목표(self-preservation)를 형성할 수 있음이 관찰됐다”고 말했다. 이어 “AI가 인간의 통제를 거부하는 상황이 발생할 가능성을 고려해야 한다”며 “AI가 인간보다 지능적으로 우월한 상태가 되면, 그 위험은 더욱 커질 것”이라고 강조했다.

그는 AI 패권 경쟁이 AI 위험을 키우고 있다고 지적했다. “국가와 기업 가 AI 패권 경쟁이 AI 위험을 키우고 있다”며 “AI는 안전을 무시하는 방향으로 발전하고 있다”고 비판했다. 이어 이러한 위험 관리에 이해관계자 등 모든 국가가 정책적·과학적 측면에 개입해야 한다”고 말했다.

그는 AI 위험 관리를 위해 정책 측면과 과학적 연구 측면에서 더 많은 인간의 개입이 필요하다고 밝혔다. “AI 위험을 관리하기 위해 더 많은 연구와 국제적 협력이 필요하다”며 “정책과 과학적 연구 측면에서 적극적인 개입과 협력이 필요하다”고 강조했다.

해결책 중 하나로 정책적 접근으로 입법, 규제, 사법적 개입, 국제적 협약을 제시했다.  “AI 도입으로 화이트칼라(사무직) 자동화가 가속화되고 있으며 이에 대한 정책 대응이 시급하다”며 “테러 조직, 국가, 범죄 단체 등 악의적인 행위자가 AI 기술을 악용할 가능성이 크다”고 설명했다. 이에 “국가는 AI 기술이 사회에 유익하게 사용될 수 있도록 법적 행동 기준을 정해야 한다”고 말했다.

과학적 접근 방법도 제시했다. “AI 시스템이 우리의 의도와 맞지 않게 행동하는 문제 즉 정렬 문제에 대해 완전한 해결 방법을 찾지 못했다”며 “AI의 목표 설정이 인간의 바람과 다르게 설정될 수 있으며, 이는 큰 문제를 초래할 수 있다”고 말했다.

AI가 인간의 명령을 따르도록 제어하는 방안 즉 AI 안전 시스템 설계 방법에 대한 많은 연구가 필요하다고 밝혔다. 현재 전 세계 주요 ICT 연구소들은 AI 리스크 평가 및 안전 기준 수립에 집중하고 있다. 그는 “AI 안전성 평가를 위한 국제 기준이 점차 정립되고 있다”며 “UN, OECD, EU가 협력한 ‘국제 AI 안전성 보고서’도 발표됐다”고 언급했다.

그는 정부와 기업은 AI 안전 연구를 적극적으로 장려하기 위해 안전성 검증 보고서 제출 의무화 정책적 유인책을 마련해야 한다고 강조했다. “AI 개발 기업이 안전성 검증 보고서를 제출하는 것을 의무화한다면 기업들은 AI 안전성을 더욱 철저히 연구할 것”이라며 “실수하지 않기 위해서 위험을 더 잘 평가하고 정량화해야 하고 더 많은 연구가 필요하다”고 주장했다.