앤트로픽은 21일(현지시각) 미국 에너지부 국가핵안보청(NNSA)과 협력해 인공지능(AI) 모델 핵확산 위험을 차단하는 안전장치를 개발했다고 밝혔다. 양측이 공동 개발한 AI 판별시스템은 사용자의 질문과 AI의 답변을 실시간으로 분석해 핵무기 제조법이나 핵물질 처리 기술 등 민감한 정보가 포함된 대화를 자동으로 차단한다. 핵 관련 대화에서 위험한 내용과 무해한 내용을 구분하는 정확도가 96%에 달한 것으로 나타났다. 이 시스템은 현재 앤트로픽의 AI 모델 ‘클로드’에 배포돼 실시간으로 작동 중이다.
◇ 급증하는 AI 보안 위험, 정부 개입 불가피
최근 대화형 AI 모델들이 인간 수준의 추론 능력을 갖추면서 민감한 기술 정보에 대한 질의응답 위험이 급격히 증가하고 있다. 특히 핵무기 제조 과정, 우라늄 농축 기술, 폭발 장치 설계 등에 관한 구체적인 질문에 대해 AI가 상세한 답변을 제공하는 경우 핵 테러나 핵 확산으로 이어질 수 있다는 우려가 제기되어 왔다.
실제로 AI 모델들은 방대한 과학 논문과 기술 문서를 학습 데이터로 활용하기 때문에 핵물리학 원리부터 핵연료 처리 방법까지 광범위한 지식을 보유하고 있다. 문제는 이러한 정보가 평화적 목적의 원자력 기술과 무기 개발 기술 사이의 경계가 모호하다는 점이다.
앤트로픽은 지난해 4월부터 NNSA와 협력관계를 시작했다. 핵무기 관련 정보는 국가기밀 수준의 민감성을 가져 민간 기업이 단독으로 위험성을 판단하기 어렵다는 점이 협력의 배경이었다. 또한 테러 조직이나 비핵보유국의 핵 개발 시도를 원천 차단하려면 정부의 전문 지식과 보안 체계가 필수적이라는 판단도 작용했다.
회사 측은 “핵 기술은 본질적으로 이중용도 특성을 갖는다”며 “원자로 운영에 사용되는 물리학 원리가 무기 개발에 악용될 수 있어 AI 모델이 위험한 기술 지식을 제공하지 않도록 면밀한 모니터링이 필요하다”고 설명했다.
◇ 정교한 분류 시스템으로 오탐 최소화
앤트로픽이 NNSA와 개발한 판별시스템은 사용자와 AI 간의 대화를 실시간으로 분석해 핵확산 위험이 있는 질의응답을 자동으로 차단한다. 시스템은 단순히 ‘핵’ 키워드를 감지하는 수준을 넘어 질문의 맥락과 의도를 종합적으로 판단한다.
일례로 ‘원자력 발전소 작동 원리’에 대한 학술적 질문은 허용하지만, ‘핵연료 농축도를 높이는 구체적 방법’이나 ‘핵폭발 장치의 기폭 메커니즘’ 같은 질문은 차단한다. 이를 위해 NNSA 전문가들이 수천 건의 핵 관련 대화 샘플을 위험도별로 분류해 AI 판별시스템을 훈련시켰다.
초기 배포 데이터에 따르면 실제 클로드 대화에서도 효과적으로 작동하는 것으로 나타났다. 회사 측은 정당한 과학적 질문을 차단하는 오탐률을 최소화하면서도 실제 위험한 질문은 놓치지 않는 정교함을 보인다고 설명했다.
앤트로픽은 이번 협력 모델을 첨단 AI 기업들의 업계 단체인 ‘프론티어 모델 포럼(Frontier Model Forum)’과 공유할 예정이다. 다른 AI 개발업체들도 NNSA와 유사한 협력을 통해 안전장치를 구현할 수 있는 청사진을 제공한다는 취지다.