[창간 5주년 특집] 김명주 AI안전연구소장 “국가 AI 경쟁, ‘안전’으로 이어진다”

“인공지능(AI)에서 발생할 수 있는 안전 문제는 무한대입니다. 예측이 어렵습니다. 하지만 인류가 꼭 풀어야 할 숙제죠.”

김명주 AI 안전연구소장의 말이다. 그는 AI 기술이 빠르게 발전할수록 안전 문제 역시 증가하고 있다고 밝혔다. AI 모델 자체도 빠르게 발전하고 있고, 각 산업에 융합하고 있어서다.

챗GPT 사례가 대표적이다. 사람들에게 흔히 알려진 챗GPT는 GPT라는 파운데이션 모델을 이용한 채팅 서비스다. 여기선 두 가지 위험이 있다. GPT라는 파운데이션 모델에서의 위험, 챗GPT라는 채팅 서비스에서 발생할 수 있는 위험이다. 파운데이션 모델은 수천억 개의 파라미터를 가진 거대한 딥러닝 모델이기 때문에 내부 작동 원리를 명확히 이해하기 어렵다. 이 때문에 AI가 왜 그러한 결정을 내렸는지 완전히 알 수 없다. 또 인터넷에 산재한 대규모 공공 데이터에 의존해 ‘스케일 편향’ 문제가 발생할 수 있고 임의의 입력에 예측 불가능한 반응을 보일 수 있는 ‘통제 불가능’ 문제도 있다. 채팅 서비스에선 거짓을 사실처럼 말하는 할루시네이션 문제, 개인정보가 포함된 데이터를 출력하는 프라이버시 침해 문제, AI가 만든 결과에 대한 책임이 누구에게 있는지에 관한 책임 소재 문제 등이 발생한다.

GPT란 파운데이션 모델은 채팅 외에 자율 주행, 로봇 등 다양한 분야에 접목할 수 있다. 사람 신체가 다치고 나아가 생명까지 위험해질 수 있는 물리적 위험이 발생할 수 있는 것이다.

김 소장은 “AI는 파운데이션 모델이 가진 내재적 위험뿐 아니라 다른 서비스와 제품에 융합해 사용할 때 발생할 수 있는 위험 등이 있다”며 “적용되는 애플리케이션마다 발생할 수 있는 위험이 천차만별 다르므로 AI가 가진 위험성은 상당히 크다고 볼 수 있다”고 말했다.

이 위험성은 사실 대다수 AI 기업과 관계자들이 알고 있다. 아직 위험성에 대응할 수 있는 가시적인 방안은 나오지 않았지만, 이미 AI 선두로 불리는 글로벌 기업들은 AI 안전을 주요 경쟁 지표로 내세우고 자체적으로 AI 윤리 원칙을 설립하고 관련 연구를 진행하고 있다. 김 소장은 이 시장이 추후 지금의 AI 기술 전쟁처럼 커질 것으로 보았다. “모든 나라가 AI 안전을 측정할 수 있는 도구를 개발해 세계 표준으로 하고 싶어 한다”며 “조만간 AI 안전에 관한 싸움이 치열하게 벌어질 것”이라고 말했다. 또 “예상되는 AI 안전 경쟁에서 한국이 주도권을 잡으려면 AI 안전을 측정할 수 있는 기반을 만들어야 한다”면서 “최근 많은 AI가 빠르게 등장하고 있고, 데이터 편향, 유출, 보안 등 발생할 수 있는 잠재 위협은 다양한 만큼 최대한 많은 문제를 정확하게 평가할 수 있는 기반을 만드는 게 중요하다”고 했다.

그는 AI 안전연구소는 그 기반을 만드는 곳이라고 소개했다. AI 안전 문제가 워낙 방대해 예측이 어려운 만큼, 관련 문제들을 모두 정의하고 한국뿐 아니라 기업 서비스를 측정할 방안을 검토하고 있다고 했다.

AI 안전연구소는 국가 차원의 AI 안전 전략과 거버넌스를 이끄는 조직이다. 한국 AI안전연구소는 지난해 11월 ETRI 산하 기관으로 출범했다. 영국, 미국, 일본, 싱가포르, 캐나다와 그에 상응하는 AI 안전 기관을 구축한 프랑스, 유럽연합(EU), 케냐, 호주 등 10개국이 모여 지난해 11월 ‘국제 AI안전연구소 네트워크’를 공식 출범한 후 다국어 안전 검증(테스팅), 사이버공격에 대한 안전 검증, 합성콘텐츠 관련 연구, 리스크 평가 등을 공유·협력하고 있다. 김 소장에게 한국 AI안전연구소의 역할과 AI 안전 해결책에 관해 자세한 얘기를 들어봤다.

- AI 기술이 발전할수록 잠재적 위협도 커지고 있다.

“잠재적 위협이 크다. 카테고리별로 묶기도 너무 방대한 양이다. 파운데이션 모델 자체에도 내재적 위험이 있고, 이를 각 제품과 서비스에 접목했을 때 파생할 수 있는 위험도 있다. 로봇이 세상을 지배하는 등 막연한 위험이 아니다. 흔히 알려진 데이터 편향으로 인한 불공정한 결과가 나올 수 있고, 로봇이 사람을 다치게 하거나 자율 주행이 위험한 상황에서 우선순위를 잘못 내릴 수 있다. 이러한 위험성이 지금은 무한대이기 때문에 빠르게 안전 문제를 해결해야 한다.”

- 한국 AI 안전연구소에선 현재 AI 안전을 위해 어떤 노력을 하고 있나.

“대표적으로는 ‘리스크 맵’이 있다. AI 관련 풀어야 할 안전 문제를 우선 정의하는 것이다. AI가 가진 잠재적 위험은 나라마다 조금씩 다르다. 보는 관점이 달라서다. 우리는 우리 관점에서 AI 위험을 정의하는 한국형 리스크 맵을 만드는 작업을 하고 있다.”

- 리스크 맵이 왜 필요한가.

“현재 발생할 수 있는 문제가 무한에 가깝기 때문에 이를 정의하는 것이 필요하다고 보았다. 문제를 정의하지 못하면 추후 어떤 상황이 벌어져도 대응할 수가 없다. 문제 정의를 해야 그다음 그 문제를 어떻게 풀어갈 것인지 로드맵을 만들 수 있다. 정책적으로 어떤 기반을 만들고, 또 어떤 기술과 교육을 개발하고, 필요하면 법을 제정하는 등의 일종의 로드맵을 제시할 수 있다. 일례로 AI로 인해 고용 문제가 예상된다면 고용노동부 등 부처나 전문 기관을 연결해 해당 문제를 풀 수 있는 시작점을 제시할 수 있다. 이용자 입장에선 AI를 믿고 사용할 수 있어야 한다. 사용하면서 불안하고 우리가 피해당하는 것 같으면 믿고 사용할 수 없다. 이 문제를 줄이기 위해 AI 안전연구소는 국민이 걱정할 수 있는 모든 문제를 다 추출해 정의하는 것부터 작업하고 있다.”

- 리스크 맵 제작을 위해 협업하고 있는 사례가 있나.

“MIT와 프랑스 비영리 단체인 ‘세이퍼AI’(SaferAI)와 협업하고 있다. MIT는 약 1000개의 위험 상황을 정리해 놨다. 예상이 아닌 실질적인 위험 상황을 정의했다. 우리도 리스크 맵을 만들면서 MIT 사례를 참조하고 있고, 세이퍼AI 역시 리스크 맵을 만드는 작업을 하고 있어 함께 노하우를 공유하고 있다. 세이퍼AI와는 조만간 업무협약(MOU)을 체결할 것 같다.”

- 소비자 입장에선 AI 안전에 대한 기준이 모호하다. 무엇이 필요할까.

“평가도구다. AI가 안전한지 평가할 수 있는 도구가 필요하다. AI 안전연구소는 지금 이 평가 도구를 만들고 있다. 데이터셋을 구축해 리스크 맵에 따라 평가를 반영할 수 있는 도구를 만들 계획이다. 이 평가도구는 한국 기업엔 오픈할 생각도 갖고 있다. 왜냐하면 기업들이 우리가 개발했거나 사용 중인 AI의 위험성이 어느 정도인지 테스트하고 싶어 하는 의지가 있어서다. 이를 테스트하려면 그 기업에서 도구를 다 개발해야 한다. 이 때문에 공통된 모듈을 만들고 이를 제공해 기업들이 테스트할 수 있게 할 예정이다. 이 경험을 토대로 하나의 글로벌 표준을 제시하는 것이 목표다. 우리가 만든 도구가 세계적으로 사용할 수 있게 된다면 상당한 경쟁력이 될 것이다.”

- 과거 KAIST에서 편향성 측정 도구를 만들었던 것으로 안다.

“맞다. AI가 가진 위험성 중에서 편향성을 측정하는 도구가 정부 과제로 이뤄졌다. 이번에 또 편향성 관련 정부 과제가 나갔다. 계속 기술이 바뀌고 있어 측정 도구도 고도화가 필요하기 때문이다. 우리는 편향성 외에 모든 위험성을 측정하는 도구를 만드는 것이 목표다. 프라이버스 유출 문제나 악의적으로 AI를 사용해 살상 무기를 만들어낼 수 있는 문제, 사이버 해킹 문제, 딥페이크 문제 등을 모두 측정할 수 있는 도구를 만들 예정이다. 일종의 종합 선물 세트라고 볼 수 있다. 매우 어려운 작업이다. 하루아침에 이뤄지는 것도 아니고 개발한다 해도 계속 모듈이 바뀌기 때문에 지속적인 관리와 고도화가 필요하다. 하지만 꼭 필요한 작업이다.”

- 평가도구가 가져야 할 경쟁력은 무엇일까.

“지금 AI 시장을 보았을 땐 가급적 많은 것을 정확하게 평가하는 도구가 경쟁력이 있을 것이다. AI 기술이 많은 국가에서 무차별적으로 만들어지고 있는데 이를 다방면으로 측정할 수 있어야 사용자가 안심하고 사용할 것이기 때문이다. 최근 등장한 딥시크가 대표 사례다. 딥시크가 나왔을 때 사람들은 데이터가 중국으로 반출되는 것은 아닌지 우려했다. 우리는 설 연휴 기간 딥시크가 나왔을 때 평가팀에서 오픈 도구를 토대로 이를 다 평가했다. 어떤 점이 위험하고 의심이 된다는 자료를 만들어 정부 기관에 제출했다. 여기서 우리가 추구하는 것은 ‘적시’였다. AI가 사람들에게 다 퍼진 뒤 안전을 평가하는 것이 아니라 사용하기 전 적시에 평가하고 사람들이 인지할 수 있는 형태의 리포트로 제출하는 것이 필요하다고 보았다. 우리는 이러한 평가도구를 만드는 것이 목표다.”

- 이 평가도구를 만들면 국가 AI 경쟁력이 커질 것 같다.

“맞다. 지금 모든 나라가 이러한 평가도구를 만들어 자기 나라 것을 세계 표준으로 하고 싶어 한다. 이 싸움이 앞으로 치열하게 벌어질 것이다. 일본에서도 싱가포르에서도 이러한 도구를 만들기 시작했다. AI 안전은 모두가 강조하는 만큼 중요한 시장이다.”

- 평가도구가 일종의 인증으로도 보인다. AI는 어떤 인증이 필요한가.

“지금의 AI 인증을 보면 ISO 42001과 같은 인증이 시행되고 있다. 이는 절차 인증이다. 인증은 크게 ‘절차 인증’과 ‘결과 인증’이 있다. 우리가 먹는 물을 예로 들면, 절차 인증은 정수하는 과정에서 몇 단계의 필터 과정을 거쳤는지 등의 과정을 검토하고 제대로 수행했으면 인증한다. 결과 인증은 과정은 보지 않고 증류와 정수를 다 끝낸 물을 가져와 시약을 넣고 제대로 됐는지 확인한다. 물의 경우 절차 인증을 하지 않고 결과 인증을 한다. 그런데 소프트웨어는 결과 인증이 상당히 힘들다. 이 때문에 그 회사의 조직이 안전하게 AI를 만들고 있는지, 데이터를 공정하게 취득하고 테스트했는지 등의 과정을 확인한다. 이 것이 ISO 42001 인증이다. 그런데 여기서 발생할 수 있는 문제가 공정한 절차를 다 지키고 인증을 받았지만, 실제로 만들어진 AI가 공정하지 않은 문제가 생길 수 있다. 절차를 지켰다고 항상 성공하는 것은 아니기 때문이다. 국민이 원하는 것은 사실 결과 인증이다. 절차보단 이 AI가 공정한지, 차별을 안하는지가 궁금하다. 이 때문에 테스팅 평가 툴이 필요하다. AI 면접관이라고 하면 50명 데이터를 넣어 성별, 학력 등에 따라 차별을 하는지 안하는지를 확인해보는 것이 테스팅이다. 이러한 테스팅 인증이 필요하다.”

- 테스팅 인증이 중요한 데 아직 활성화되지 않은 이유가 무엇인가.

“기업의 협조와 데이터셋이 필요하기 때문이다. 결과 인증, 즉 테스팅을 하려면 관련 데이터셋이 필요하다. 그런데 이 데이터를 얻기가 어렵다. 제품, 설루션마다 학습된 데이터가 다르기 때문이다. 이 때문에 각 제품과 설루션을 테스팅할 때는 개발 기업의 협조가 꼭 필요하다. 관련 데이터는 기업이 가지고 있어서다. 이러한 협력 관계가 잘 만들어진다면 소비자는 AI를 믿고 사용할 수 있는 문화가 형성될 것이다. 하지만 지금은 데이터를 얻기가 힘들어 절차 인증이 많은 추세다.”

- 그렇다면, AI 안전연구소가 인증 사업도 할 것인가.

“아니다. AI 안전연구소에선 인증, 검증을 직접 할 생각이 없다. 인증과 검증을 해야 하는 것이 너무 많다. AI 기술도 자주 바뀌고 산업별로 보면 로봇, 자율 주행 등 인증해야 할 것이 많다. 트렌드를 잘 따라가야 하는데 AI 안전연구소에서 이를 다 해낼 여력이 없다. 우리는 이러한 인·검증을 잘 모니터링하면서 도와주는 역할을 하는 것이 맞다고 생각한다. 인·검증 기관이 아닌 인정기관 역할이 맞다고 생각한다.”

- 어쩌면 AI 안전연구소가 규제 기관처럼 느껴질 수도 있다.

“우리의 역할은 일종의 셰르파라고 생각한다. 에베레스트를 등반할 때 정상까지 안내하는 가이드와 같다. 셰르파는 에베레스트에 오를 준비가 되지 않은 사람에겐 오르면 안 된다고 얘기한다. 하지만 오를 준비가 된 팀에겐 최대한 정상까지 올라갈 수 있도록 성심껏 안내한다. AI 안전연구소도 이와 같다. AI 안전에 대해 준비가 되지 않은 기업은 그 여정을 못가게 해 규제로 느낄 수 있지만, 그 여정을 함께 할 기업에겐 최고의 가이드가 될 수 있다.”

- 한국에선 AI 기본법을 준비하고 있다. 규제가 강화될 수 있단 우려도 있는데.

“한국의 AI 기본법은 프로모션 쪽이다. 규제가 아닌 혜택을 주는 쪽이다. 우리 기업이 글로벌 경쟁에 들어가기 위해선 일종의 진입장벽을 통과할 준비가 돼야 한다. 그 준비를 도와주는 역할이 기본법이다. 글로벌 진입장벽을 사전에 체크해서 빨리 들어갈 수 있도록 도와주는 역할을 하는 것이 기본법이다. 유럽연합(EU)과 같은 곳은 어느 정도 규격을 맞추지 않으면 상당한 벌금을 매긴다. 하지만 한국의 AI 기본법은 벌금이 아니라 프로모션이다. 혜택을 주는 것이므로 규제라고 보긴 어렵다.”

- 3~5년 뒤 AI 안전을 위해선 어떤 것을 준비하고 있나.

“미래지향적인 사업을 3가지 준비하고 있다. 하나는 에이전틱 AI 세이프팀이다. 엄밀히 따지면 이 팀은 보안에 가깝다. AI 에이전트는 해킹되면 사용자에 대한 상당한 정보를 유출시킬 수 있다. 보통 AI 에이전트를 비서로 표현하는데, 사람만 보아도 비서가 대부분의 일을 다 안다. 비서가 정보를 얘기하기 시작하면 상당한 기밀까지 유출될 수 있다. AI 에이전트는 사람 비서보다 훨씬 많은 것을 안다. 이 때문에 보안이 중요하다. 또 다른 것은 피지컬 AI 쪽이다. 물리적인 위협에 대해 준비하고 있다. 마지막으로 범용인공지능(AGI)에 대비하고 있다. 5년 내 AI 기술이 상당히 발전할 것으로 보고 안전 분야에서도 이 속도를 맞추고자 한다.”

- AI 주체는 사용자다. 사용자의 AI 안전을 위해 필요한 것은 무엇일까.

“AI에 대한 지식을 높여야 한다. 사회가 AI로 바뀌고 있는 만큼, 많은 사람이 AI에 대해 알아야 한다. 지금 AI 전환이라는 이름으로 사회 곳곳에 AI가 비집고 들어오고 있다. 어른들은 이를 몰라도 불편하지 않다. 하지만 지금 아이들 세대는 AI가 중요하다. 지난해 9월 딥페이크 사건이 벌어졌을 때도 그 지식 격차에서 일어났다. 어른들은 AI가 무엇인지, 딥페이크가 무엇인지도 몰랐는데 아이들은 이것을 막 쓰고 있었다. 그만큼 어른들은 AI에 대해 공부해야 한다. 개인적으로 AI 안전연구소에 여러 민원이 많이 들어왔으면 좋겠다. 지금은 전문가들만 AI 안전연구소 문을 두드리고 있는데 나중에는 시민이 AI 안전에 대해 다뤄달라는 민원이 왔으면 좋겠다. 그렇게 된다면 사회적으로 AI에 대한 인식이 성숙해진 것이다. 우린 바빠도 좋다. 사회가 성숙해지길 바란다.”