AI 안전 학점 보니… 오픈AI ‘D+’, 메타 ‘F’

라마3.1 등 인공지능(AI) 모델을 오픈소스로 공개하며 AI 보편화를 이끈 ‘메타’가 AI 안전 평가에선 낙제점을 받았다. 학점으로 치면 F 점수다. 오픈AI와 구글 딥마인드도 D+의 낮은 점수를 기록했다.

미국 비영리단체 FLI(Future of Life)가 최근 발표한 ‘FLI AI Safety Index 2024’ 보고서에 따르면, 오픈AI와 메타를 포함한 글로벌 AI 대표 기업들의 안전 지표는 기준 이하였다. 리스크 관리부터 시스템 통제, 생성형 AI의 위험 요소인 탈옥 등에서 안전성이 결여된 것으로 파악됐다.

FLI는 인간 중심적 기술 개발과 위험 완화를 위해 활동하는 단체다. 이번 보고서는 글로벌 대표 AI 기업의 안전성 관련 관행을 평가하고 개선점을 찾기 위해 마련됐다. AI 안전 지수는 7명의 저명한 AI 거버넌스 전문가들로 구성된 독립 패널을 소집해 6개 주요 도메인에 걸쳐 평가했다. 참여한 전문가는 △요슈아 벤지오(Yoshua Bengio) 몬트리올대 교수 △데이비드 크루거(David Krueger) 몬트리올대 교수 △제시카 뉴먼(Jessica Newman) UC버클리대 사이버 보안센터 AI 보안 이니셔티브 디렉터 △스튜어트 러셀(Stuart Russell) UC버클리대 교수 △아토사 카시르자데(Atoosa Kasirzadeh) 카네기멜런대 교수 △테건 마하라즈(Tegan Maharaj) HEC 몬트리올 교수 △스네하 레바누르(Sneha Revanur) Encode Justice 설립자 겸 대표다.

이들은 오픈AI, 구글 딥마인드, 메타, 앤트로픽, 지퓨(Zhipu) AI, x.AI 등 6개 기업의 AI 안전 관행을 평가했다. 평가는 △위험 평가 △위해 요소 △안전 프레임워크 △실존적 안전 전략 △거버넌스와 책무 △투명성과 커뮤니케이션 등의 지표를 토대로 이뤄졌다. 그 결과 앤트로픽이 가장 높은 점수인 C(2.13점)를 받았고, 구글 딥마인드(1.55점)와 오픈AI(1.32점)가 D+를 기록했다. 지퓨 AI는 1.11점으로 D를, x.AI는 0.75점으로 D-를 받았고, AI 보편화에 힘쓴 메타는 0.65점으로 F점을 받았다.

FLI는 평가 결과, 일부 기업은 초기 안전 조치를 수립하거나 위험 관리에 대한 노력을 기울인 반면, 가장 기본적인 예방 조치조차 하지 않은 기업도 있었다고 지적했다. 또 많은 기업이 범용인공지능(AGI)을 개발하려는 야망에도 불구하고 평가한 모든 기업이 AI 시스템을 제대로 통제하고 유지하는 데 어려움이 있고, 탈옥과 같은 사이버 공격에도 취약하다고 밝혔다.

스튜어트 러셀 UC버클리대 교수는 “이번 결과는 AI 기업들이 ‘안전’이란 이름의 많은 활동을 하고 있지만, 아직 효과적이지 않다는 것을 시사한다”며 “특히 안전에 대해 정량적으로 보여줄 수 없고 상상할 수 없을 정도로 방대한 양의 데이터로 훈련된 AI 모델의 블랙박스 등을 해결해 안전을 보장하는 것은 불가능해 보인다”고 말했다.

AI 4대 천왕 중 한 명으로 불리는 요슈아 벤지오 몬트리올대 교수는 “이번 평가는 선도적인 AI 기업의 안전 관행에 대한 귀중한 인사이트를 제공할 수 있어 중요하다”며 “기업의 안전 약속에 대한 책임을 묻는 데 필수적인 단계이며, 신흥 모범 사례를 강조하고 경쟁사들이 더 책임감 있는 접근 방식을 채택하도록 장려하는 데 도움이 될 수 있다”고 했다.

이번 평가에 대해 김명주 AI안전연구소장은 “이러한 평가는 기업들이 AI 거버넌스를 잘하는지, 얼마나 투명하게 하고 있는지를 보여주는 일종의 경고”라면서 “앞으로 AI 안전의 중요성은 더 커질 것”이라고 말했다. 이어 “과거 AI 산업이 겨울을 맞이한 이유는 컴퓨팅과 성능 문제였지만, 사람 이상의 성능을 내는 지금은 성능이 떨어져서가 아니라 반대로 AI 성능이 너무 좋아서, 사람이 AI를 통제하지 못해서 겨울을 맞이할 가능성이 크다”고 덧붙였다.

국내 AI 신뢰성 기업인 씽크포비엘의 박지환 대표는 “AI 신뢰성과 안전을 얘기할 때 일부에선 규제로 치부하고 중요하게 생각하지 않는 경향이 있고, AI 안전을 강조하면서 실제로 행동까지 옮기지 않는 곳도 많다”며 “AI 신뢰성을 구축하는 것은 규제가 아닌 진흥의 일환이기 때문에 AI 안전을 위한 정책 마련과 기술 확보 등 실질적인 움직임에 모두가 동참해야 한다”고 조언했다.