“인공지능(AI) 안전, 글로벌 협력 없이는 해결할 수 없습니다.”
1일 서울 그랜드 인터컨티넨탈 파르나스 로즈홀에서 열린 ‘AI 안전 컨소시엄 제2차 합동회의’에서 김명주 인공지능안전연구소(AISI) 소장이 이같이 강조했다. 이어 “국가 간 협력과 연구기관협조가 필수적”이라며 “AI 안전을 위한 국제적인 기준과 평가 시스템이 중요하다”고 덮붙였다.
이날 회의에서는 △AISI 주요 추진 현황 및 성과 공유 △AI안전컨소시엄 운영체계의 확정 및 분과별 의제에 대한 논의가 진행됐다.
김 소장은 “AISI는 지난 1년간 AI 모델 안전성, 사이버 공격에 대한 대응, 회복력 강화 연구 등 진행했다”며 “국내외 모델을 대상으로 안전성 평가를 해왔다”고 밝혔다. 이어 “프런티어 모델 출시 초기, 독자 AI 파운데이션 모델 대상으로 안전성 평가 기반을 구축하고 대응 중”이라며 “국내외 모델 평가를 위한 체제, 데이터셋을 구축하고 있다”고 덧붙였다.
AISI는 영국, 싱가포르, 일본 등 국제 AISI 네트워크와 공동평가도 진행해 왔다. 지난해 11월 오픈소스 대상으로 다문화·다언어를 비롯한 안전성 관련 시범테스트를 수행했고, 올해 2월·7월 보고서 공개를 통해 다중언어 대상 평가와 사이버보안 분야 역량 및 위험 평가 수행, 에이전트 기반 AI 모델 민감정보 유출 및 사이, 사이버 보안에 대한 평가를 수행했다. 현재 캐나다와 AI 안전 분야 연구개발 협력 논의도 진행 중이다.
김 소장은 “자유형 AI 에이전트가 등장하면서 새로운 위험 요인이 발생하고 있다”며 “이를 대응할 수 있는 시스템들에 대해 컨소시엄 기업들과 실질적인 유용성 논의를 이어갈 계획”이라고 말했다.
AISI 예산도 전년 대비 2.5배 증가했다. 김 소장은 “내년 예산이 늘어나면서 처리해야 할 일들이 많아졌다”며 “AI안전컨소시엄 확장해 더 많은 일들을 해야 할 것 같다”고 말했다. 아울러 AISI는 국내 AI 기본법 32조에 대응해 기술적으로 타당한 시행령과 가이드라인 마련한다. AI 위험에 대한 종합 지식 체계인 AI 위험지도 초안도 마련할 예정이다.
다만 이날 회의에서 애초 ‘인공지능 기본법 제32조’에 대한 의견 수렴도 진행할 예정이었으나 과학기술정보통신부에서 논의하는 것이 바람직하다는 판단에 따라 ‘AI 위험 지도’ 논의로 대체됐다. 향후 별도 회의에서 AI 기본법 관련 의견 수렴이 진행될 예정이다.
이날 합동회의에서는 AI안전컨소시엄 거버넌스와 운영체계를 중점적으로 논의했다. 지난해 11월 AISI 개소와 함께 24개 기업·기관으로 구성된 AI안전컨소시엄이 구축된 바 있다. AI 안전 분야 산학연 역량을 결집하고 체계적인 연구 협력을 통해 국가 AI 안전 체계 정립과 글로벌 대응을 하기 위해 만들어졌다.
AI안전컨소시엄은 △정책 △평가 △ 연구 3개 분과로 구분된다. 정책 분과는 국내외를 둘러싼 AI 안전 정책 전반에 걸쳐 논의하고 있다. 평가 분과는 글로벌 AI 안전 평가 사례를 공유하고, 실제 AI 안전 평가 수행을 위한 방안을 논의했다. 국제 AI안전 네트워크에서 수행 중인 공동 평가에의 참여·공유 방안을 모색하고 있다. 연구 분과에서는 AISI가 수행 중인 연구 이슈를 중심으로 연구 성과 연계·확산 방안을 논의했다.
컨소시엄은 연내 추가 멤버 합류 절차를 마련해 참여 기업·기관을 확대할 방침이다. 현재 컨소시엄에는 LG AI연구원, 카카오, 네이버, 삼성전자, SK텔레콤, KT, 코난테크놀로지, 이스트소프트, 포티투마루, 뤼튼테크놀로지스, 트웰브랩스, 라이너, 크라우드웍스, 고려대 정보보호대학원, 서울대, 성균관대 인공지능융합원, 숭실대, 연세대, KAIST, 소프트웨어정책연구소(SPRi), 정보통신기획평가원(IITP), 정보통신정책연구원(KISDI), 한국지능정보사회진흥원(NIA), 한국정보통신기술협회(TTA) 등 기업 13개, 대학 6개, 연구개관 5개가 참여하고 있다.