[단독 인터뷰] 스티븐 토나 SAS 아시아태평양 AI 총괄 “AI 리스크 대응 지금 준비하지 않으면 늦는다”

“인공지능(AI) 혁신과 거버넌스 구축 지금 행동하지 않으면 늦습니다.”

스티븐 토나(Stephen Tonna) SAS 아시아태평양(APAC) 및 신흥 유럽·중동·아프리카(EMEA) 지역의 모델 및 인공지능(AI) 거버넌스 총괄 책임자가 강조한 말이다.

AI가 산업 전반의 혁신을 가속화하고 있지만 동시에 새로운 위험도 빠르게 커지고 있다. 그는 “AI가 미래를 바꾸고 있지만 동시에 위험을 키우고 있다”며 “단순한 혁신이 아닌 AI 모델 리스크를 관리하고 위험에 대응할 수 있도록 거버넌스를 구축해야 한다”고 강조했다.

스티븐 토나는 SAS에서 은행, 보험사, 규제기관이 AI 모델 리스크 관리 체계를 구축할 수 있도록 지원하고 있다. SAS에 합류하기 전 호주뉴질랜드은행(ANZ), 미국 매사추세츠주 보스턴의 하버드 의대 및 브리검(Brigham) 여성병원에서 근무한 바 있다. ‘리스크 모델링: AI·머신러닝·딥러닝의 실제 응용’의 공동 저자로 규제 환경에서 AI 리스크 거버넌스 전략을 강조해왔다.

1976년 설립된 SAS는 데이터 분석 분야의 전통 강자이자 대표적 비상장 소프트웨어 기업으로 포천 500대 기업의 상위 50곳 중 92%를 고객사로 확보하고 있다. 창립 50주년을 맞는 내년에 상장을 추진 중이다. 올해 SAS는 통합 플랫폼을 강점으로 금융권 AI 리스크 대응에 필요한 원스톱 지원 전략을 구축했다. ‘SAS 바이야’에서 데이터 관리, 모델 개발, 배포, 모니터링, AI 거버넌스를 통합적으로 지원한다.

그는 “SAS 강점은 원 플랫폼”이라며 “모델 리스크 관리(MRM), 모델 매니저, ‘SAS 인텔리전트 디시저닝(SAS Intelligent Decisioning)’을 단일 플랫폼에서 통합해 제공하고 있다”고 설명했다. 모델 매니저는 모델은 MRM과 함께 AI 모델 등록·승인·버전 관리·모니터링을 제공한다. SAS 인텔리전트 디시저닝은 AI 에이전트를 설계, 배포, 확장할 수 있도록 지원하는 솔루션이다. 현재 AI 코파일럿 출시도 준비하고 있다.

◇ “AI 모델 리스크 차원이 달라졌다”

전 세계 금융기관들은 이미 업무에 다양한 AI를 적용하고 있다. 토나 총괄은 “브라질 은행에서는 SAS 솔루션 기반으로 문서 처리 자동화, 규제 문서 실행 규칙 변화, 대형언어모델(LLM) 기반 사기 탐지 기능을 실제 적용하고 있다”며 “매일 금융권에서 새로운 AI 혁신 사례가 등장하고 있다”고 말했다.

반면 AI 모델 리스크는 더 커지고 다양해졌다. 과거 데이터 편향 문제부터 사실이 아닌 정보를 그럴듯하게 말하는 할루시네이션(환각) 문제, 최신 데이터 부재로 인한 낮은 예측 정확도 문제(모델 드리프트), 교묘한 질문으로 기존 AI 안전망을 뚫고 차단된 정보를 얻는 문제(프롬프트 젤브레이킹), 민감한 데이터 유출 문제 등 다양한 위험이 존재한다.

AI 기술이 금융 범죄에 악용되는 사례도 늘고 있다. 그는 “범죄자들이 유명 대형언어모델(LLM) 플랫폼을 모방한 가짜 웹사이트를 만들어 로그인·결제 정보·기업 응용프로그램인터페이스(API) 키를 훔치고 이를 판매하거나 금융 사기 행위로 이어지고 있다”고 말했다. 실제 지난 2월 이탈리아에서는 AI로 국방장관의 목소리를 복제해 사칭한 사기로 한 사업가가 100만 유로(약 16억원)를 송금하는 피해가 발생했다.

◇ “모든 AI 모델, 목록 관리하고 위험 등급 매겨야”

토나 총괄은 AI 기본법 시행을 앞둔 국내 금융기관이 지금 취해야 할 행동으로 △모델 인벤토리를 신용·리스크 모델뿐만 아니라 생성형 AI와 LLM까지 확장 △모델 드리프트·환각·젤브레이킹 시도를 실시간 감지하는 지속적 모니터링 체계 구현 △규제 준수를 즉시 입증할 수 있는 강력한 증거 수집 및 문서화 프로세스 구축 △컴플라이언스·리스크·데이터·AI 부서를 아우르는 부서통합형 거버넌스 팀 구성 등을 제시했다.

“AI 모델 견고성 테스트를 거치고 운영 과정에서 기록을 남기며, 문제가 생기면 즉시 대응할 수 있는 관리 체계를 갖춰야 한다”며 “도입 전에는 적합성을 검증하고, 운영 중 지속적인 모니터링을 하며, 데이터부터 의사결정까지 추적 가능한 관리와 필요할 때 규제기관에 증거를 제출할 수 있는 준비가 필요하다”고 말했다. 이어 “이는 국내 AI 기본법과 글로벌 기준에 모두 부합해야 한다”고 덧붙였다.

아울러 AI 모델에 위험 등급을 매기고 철저히 관리해야 한다고 강조했다. 금융권이 한 가지 모델만 쓰는 것이 아니라 신용 평가, 사기 탐지, 고객 상담 등 다양한 업무에 여러 모델을 동시에 활용하기 때문에 더욱 통합적인 관리가 필요하다는 것이다. “AI 모델별 위험 수준을 구분해 관리하고 언제든 규제기관이 요구할 경우 증거를 제출할 수 있도록 준비가 돼 있어야 한다”며 “이 모든 과정을 통합적으로 관리할 수 있는 거버넌스 체계가 곧 경쟁력이 될 것”이라고 설명했다.

◇ “통합 관리·실시간 대응 중요”

토나 총괄은 AI 리스크 관리에서 가장 중요한 요소로 실시간 대응을 꼽았다. “모델 운영 과정에서 실시간 개입이 점점 중요해지고 있다”며 “고객이 은행 챗봇에 주택담보대출 신청 방법을 물었는데 답변이 고객센터로 전화하라는 식이 되면 바로 고객 경험에 악영향을 준다”고 설명했다.

금융권에서 데이터 유출과 개인정보 노출이 가장 심각한 리스크다. 그는 “AI 리스크 관리는 처음부터 프라이버시 중심 설계로 접근해야 한다”며 “데이터 접근 권한을 제한하고 불필요한 데이터는 최소화하면서 토큰화·암호화를 적용하는 것이 기본”이라고 말했다. 이어 “LLM과 AI 에이전트 환경에서는 프롬프트 필터링, 개인정보 제거, 검색 범위 제한, 고객별 맥락 분리 같은 기술적 장치가 필요하다”고 덧붙였다.

데이터 유출을 막기 위한 안전 체계도 강조했다 그는“데이터 유출 방지(DLP) 솔루션, 유출 징후를 찾는 이상 탐지 시스템, 비밀번호·API 키 같은 민감 정보가 새어나가지 않도록 하는 시크릿 스캐닝, 그리고 AI 모델의 허점을 시험하는 프롬프트 레드팀을 지속적으로 운영해야 한다”며 “무엇보다 중요한 것은 이런 통제 장치들이 문서화된 정책과 연결돼 있어야 하고 실제로 잘 집행됐음을 입증할 수 있어야 한다”고 말했다.

그는 “AI거버넌스란 단순히 규칙을 정하는 것이 아니라 어떤 모델을 개발·운영했는지 누가 언제 어떤 방식으로 승인했는지 마지막 검증은 언제인지 AI 모델마다 전 과정을 기록하고 강화된 통제를 도입한 체계”라며 “AI 모델의 투명성과 부서 통합적 관리가 핵심”이라고 설명했다.

다만 금융권에서 이 모든 AI 거버넌스 구축이 쉽지 않다고 밝혔다. AI 시스템을 어떻게 정의할 것인가도 문제다. 그는 “LLM, 개인정보 탐지 가드레일, 데이터베이스, API 등 다양한 요소가 결합돼 있는데 이를 조직 내에서 어떻게 단순화해 정책화할지도 쉽지 않은 과제”라며 “시스템 단위에서 리스크를 정량화·평가하는 것도 기업 입장에서는 낯선 영역”이라고 말했다. 이어 “기업들이 기술 혁신을 통해 최고의 성과를 내도록 하는 것이 SAS의 목표”라며 “글로벌 경험을 바탕으로 규제 준수를 지원하는 동시에 책임 있는 거버넌스 아래 새로운 기술을 제공할 수 있는 가치를 최대한 실현할 수 있도록 돕겠다”고 강조했다.