“AI 안전은 단순히 원칙을 세우는 것만으로는 충분하지 않습니다. 그저 원칙만 있다면 선반 위에 덩그러니 있는 것처럼 아무도 주의를 기울이지 않을 겁니다.”
파라스 말릭(Paras Malik) 미국 재무부 최고AI책임자(CAIO)의 말이다. 그는 10일(현지시각) 미국 워싱턴 D.C. 월터 E. 워싱턴 컨벤션 센터에서 열린 ‘AWS DC 서밋’에서 AI 안전 실천을 강조했다. AI 활용이 많아지고 있고 특히 공공 분야와 지자체 등에서 활용을 확대하는 만큼, AI 안전을 구두로만 얘기하는 것이 아니라 실제 실행에 옮겨야 한다는 주장이다.
이번 세션에는 미국 재무부뿐 아니라 지자체인 텍사스주의 최고정보책임자(CIO) 아만다 크로포드(Amanda Crawford), 민간 기업인 앤트트로픽의 국가보안 담당 헤드이자 미국 국가보안회의(NSC)에서 대통령 부보좌관 겸 기술·국가보안 조정관으로 근무했던 타룬 차브라(Tarun Chaabra)가 함께 참여했다. 이들은 올리비아 이그복웨(Olivia Igbokwe) AWS 연방 업무 담당 디렉터가 진행한 토론에 참여하며 실제 AI 안전을 실행한 사례를 공유했다.
◇ 텍사스주, 사용자 중심 AI 안전 확보 마련
텍사스주는 AI 활용에 앞장선 미국 대표 지자체다. 주 기관들의 3분의 1 이상이 이미 AI를 사용하고 있고, 2024년 하원법안 2060으로 AI 자문위원회를 설치해 이들의 AI 시스템을 연구하고 모니터링하고 있다.
안전 확보에도 속도를 내고 있다. 텍사스 입법부는 이달 가장 포괄적인 AI 거버넌스 법안으로 평가되는 ‘텍사스 책임감 있는 AI 거버넌스법(TRAIGA)’를 통과시켰다. 승인되면 텍사스는 콜로라도, 유타, 캘리포니아에 이어 네 번째로 AI 특별 법안을 통과시킨 주가 된다.
이번 세션에 참여한 크로포드 텍사스주 CIO가 이끄는 텍사스 정보자원부(DIR)는 연간 약 50억 달러(약 6조 8000억 원) 규모 기관으로, 실질적 AI 성과를 보여주고 있다. 대표 성과는 대규모 문서 디지털화 프로젝트다. 크로포드 CIO는 “텍사스 사무소에는 영화 ‘잃어버린 성궤를 찾아서(Raiders of the Lost Ark)’에 나오는 창고처럼 종이로 가득찬 공간이 있다(인디아나 존스 시리즈의 첫 번째 작품인 이 영화의 마지막 장면에는 성궤가 거대한 정부 창고에 수많은 상자와 함께 보관된 장면이 나온다)”며 “AI를 사용해 수천만 개 문서를 디지털화해 사용 가능한 형식으로 만들고 있다”고 밝혔다. 이어 “이 프로젝트는 수없이 많은 시간과 비용이 절약되는 게임 체인저로 평가된다”면서 “과거 인력으로는 너무 많은 시간이 소요됐을 작업을 AI가 해결하고 있다”고 덧붙였다.
텍사스주는 AI 안전 확보를 위한 여러 시도도 하고 있다. 그중 사용자 중심 AI 안전 모델은 새로운 대안으로 주목받는다. 텍사스주는 몇 년 전부터 ‘AI 사용자 그룹’을 운영하고 있다. 현재 700명 이상의 공공부문 구성원이 참여하는 이 협의체는 주정부뿐 아니라 지방정부 공무원들까지 포함해 AI 활용 현장의 다양한 목소리를 실시간으로 수렴한다. 크로포드 CIO는 “사용자 그룹에 참여하는 이들은 비공식 회의를 통해 정책, 모범 사례, 사용 사례를 교환하며 AI 윤리적 배포에 대한 대화를 지속하고 있다”고 밝혔다.
말릭 재무부 CAIO가 강조한 ‘운영에 구축된 가드레일’을 사용자 주도로 구축하고 있는 것이다. 실제로 텍사스 입법부가 설치한 AI 위원회에서는 이들의 목소리를 정책 근거로 활용하고 있다. 크로포드 CIO는 “텍사스 AI 위원회와 5번의 회의를 했는데 정말 환상적이었다”며 “다양한 기관, 시, 카운티, 경찰서, 고등교육기관, 민간 부문이 와서 그들이 무엇을 보고 있는지, 어떻게 AI를 사용하고 있는지, AI를 사용하고 있는지에 대해 이야기하고 있다”고 말했다.
이 위원회는 12월에 새로운 지침과 권고사항을 포함한 보고서를 발행할 예정이다. 보고서 내용은 입법자들이 내년 AI 우선순위를 평가하는 데 활용할 방침이다.
◇ 앤트로픽, 정부와 민간 협력 강조
민간 기업인 앤트로픽도 AI 안전을 실현하기 위한 구체적인 실천을 진행하고 있다고 밝혔다. 차브라 앤트로픽 국가보안 담당 헤드는 세션에서 “AI 안전을 단순한 선언에 그치지 않도록 실질적 시스템을 구축하고 있다”고 강조했다. 대표적인 사례가 회사에서 운영하고 있는 ‘AI 헌법’이다. 그는 “우리는 AI 정렬에 사용되는 일종의 헌법을 운영하고 있으며, 정렬 과정에서 무엇을 얻는지에 대해 투명하게 공개한다”고 설명했다.
앤트로픽의 안전 시스템은 다층적으로 구성돼 있다. 먼저 ‘레드팀’을 운영하며 위험 평가를 체계적으로 하고 있다. 차브라 헤드는 “우리는 평가 테스트를 수행하는 레드팀을 운영해 AI 시스템의 잠재적 위험을 사전에 점검한다”고 밝혔다.
투명성 확보에도 적극적이다. “모든 관련 테스트와 잠재적 위험에 대한 460페이지 분량의 투명성 보고서를 발행한다”며 “가능한 한 투명하게 운영하려고 노력하고 있다”고 설명했다. 이는 말릭 재무부 CAIO가 강조한 ‘테스트·배포·모니터링 과정에서의 가드레일’을 민간 기업 차원에서 실제 구현하고 있는 사례다.
앤트로픽은 AI의 사회적 영향까지 고려한 포괄적 접근도 하고 있다. 차브라 헤드는 “전국 경제학자들과 함께 특정 직업 부문에 미치는 영향과 그것이 기술자들과 어떻게 진화할 수 있는지 연구하고 있다”고 밝혔다.
그는 AI 안전을 확보하기 위해선 정부와 민간의 협력이 중요하다고 강조했다. “정부와의 파트너십은 그 중요성을 과대평가할 수 없는 영역”이라며 “정부가 이러한 시스템들을 배포하기 위한 책임감 있는 프레임워크를 만드는 것은 국가 개발자들과 함께 파트너십으로 이뤄져야 한다”고 설명했다.
◇ AI 안전 선언만 하는 한국, 사용자 의견 청취 필요
AI 안전을 확보하기 위한 미국 정부와 지자체, 기업의 협력 사례는 한국에 주는 교훈이 크다. 그동안 국내에서는 AI 안전을 크게 강조해 왔다. AI 윤리, 신뢰성 등 여러 이름으로 여러 논의가 진행됐다. 하지만 여전히 한국은 AI 안전에서 발걸음을 떼지 못하고 있다.
국내 AI 신뢰성 기업인 씽크포비엘의 박지환 대표는 “AI 안전은 AI를 얘기할 때 누구나 강조하지만, 정작 누구도 하지 않는 분야”라며 “현재 한국은 AI 안전에 있어 아무것도 준비돼 있지 않다”고 지적했다.
사실 한국에선 AI 윤리에 관한 토론회가 많이 열렸고, AI 안전을 우선시하는 기업들은 자체 윤리 정책이나 윤리 가이드를 만들어 업무에 적용했다. 정부는 AI 기본법 초안을 마련하며 법 제정에 힘쓰고 있다.
하지만 박 대표는 이 같은 노력이 AI 안전을 보장하지 않는다고 주장한다. 법과 윤리가 AI 안전을 보장하진 못한다는 게 그의 설명이다. 법은 AI로 인한 위험이 발생한 뒤 책임과 처벌 위주로 활용되고, 윤리적으로 AI를 개발하고 활용해도 언제든 사고가 발생할 수 있어서다. 그는 AI 안전을 제대로 구축하기 위해선 사후가 아닌, 사전에 사고를 방지할 수 있는 인력과 기술을 개발해야 한다고 조언한다. 이를 위해선 관련 전문가를 양성하고 해당 분야 전문성과 기술을 키워야 한다고 했다. “AI 안전과 신뢰성을 얘기하면서 정작 이를 전문적으로 다룰 수 있는 사람은 부재하다”며 “전문인력도 교육 제도도 위기의식도 없는 것이 현재 한국의 현실”이라고 꼬집었다.
실제로 이번 AWS 세션에선 미국 정부의 CAIO와 지자체 CIO 등이 참여해 AI 안전을 논의했다. AI 정책을 만들고 활용하는 곳에서 전문가들이 나와 기업과 AI 안전을 논의한 것이다. 하지만 한국에선 AI 안전 필요성에 대한 전문적인 목소리가 정부와 지자체가 아닌 기업 위주로 나오는 것이 현실이다.
AI 안전을 사용자 의견을 받아 조치하는 텍사스 사례도 한국에 주는 울림이 크다. 현재 한국에선 AI 정책이 대부분 정책 입안자와 AI 공급자 위주로 마련되고 있기 때문이다. 요슈아 벤지오 몬트리오대 교수, 얀 르쿤 뉴욕대 교수, 제프리 힌튼 토론토 교수 등 AI 분야 거장들이 ‘천재’라고 평가한 연구자인 조경현 뉴욕대 컴퓨터과학과 교수는 본지와 인터뷰에서 정부가 AI 안전을 논의할 때 사용자들의 목소리가 반영되지 않고 있다고 지적했다.
그는 “AI 시스템의 데이터 편향성과 구조적 편향성은 여전히 문제고, 기술이 정교해지면서 이런 편향이 더 은밀하게 작동해 사람들에게 미치는 영향은 더 커질 수 있다”면서 “그런데도 AI 안전 논의에는 정작 가장 직접적인 영향을 받는 사람들의 목소리가 거의 반영되지 않고 있다는 점은 우려스럽고 아쉬운 점”이라고 말했다. 이어 “AI 관련 토론에는 주로 기업, 정책 결정자, AI 연구자 등이 참여하는데 이들은 대부분 AI 기술로 인해 큰 변화를 겪지 않는 위치에 있는 사람들”이라며 “사회적으로 AI가 적용되면서 가장 영향을 받는 사람들이 사실상 이러한 논의에 목소리를 낼 수 없다는 게 안타깝다”고 덧붙였다.