한국전자통신연구원(ETRI)은 인공지능(AI) 시스템의 테스트 절차와 방법론을 정의한 ‘AI 시스템 테스팅 개요’ 표준이 국제표준화기구(ISO/IEC JTC1)에서 지난 3일, 공식 제정됐다고 19일 밝혔다.
이번 성과는 우리나라가 ISO/IEC 인공지능 기술위원회(SC 42)에서 주도적으로 제정한 최초의 AI 테스팅 핵심 AI 국제표준이라는 점에서 큰 의미가 있다고 ETRI 측은 설명했다.
이번 표준은 구체적으로 기존 소프트웨어 테스트 표준을 AI 시스템에 맞게 확장했다. AI 특성에 맞춘 △데이터 품질 테스트 △모델 테스트 등 새로운 테스트 단계를 정의했다.
이를 통해 AI 시스템의 핵심 요소인 데이터 품질부터 모델 성능까지 종합적으로 검증할 수 있는 기반을 마련했다. 또한 AI의 잠재적 위험을 사전에 점검하기 위해 ‘위험 기반 테스트’ 개념도 도입했다.
이를 바탕으로 △AI 편향성 검증을 위한 편향성 테스트 △입력값 변화를 이용한 적대적 테스트 △운영 중 성능 저하를 확인하는 드리프트 테스트 등 AI 특화 테스트 절차를 구체화했다.
이 표준은 앞으로 제정될 △AI 레드팀 테스팅 △생성형 AI 테스팅 등 후속 표준의 기반이 되는 ‘총론’격 표준으로, AI 신뢰성 검증 체계의 근간을 우리나라가 설계했다는 데 의미가 있다.
ETRI는 이번 제정 표준을 기반으로 현재 개발 중인 후속 테스팅 시리즈 표준인 레드팀 테스팅 표준(ISO/IEC 42119-7)을 비롯해, 온톨로지 표준(ISO/IEC 42119-10), AI 벤치마크(ISO/IEC 42119-11) 등의 후속 시리지를 계속 이어 개발하며 AI 테스팅 국제 표준 시리즈 개발을 선도할 계획이다.
전종홍 ETRI 책임연구원은 “AI 공통 핵심 표준을 만드는 JTC 1/SC 42 표준화 활동이 강화되어야 한다”며 “AI 국가 표준화 전략을 만들고 AI 국제표준화에 보다 적극적이고 장기적인 투자를 해야할 시점”이라고 강조했다.
방승찬 ETRI 원장은 “국제표준 제정은 대한민국이 AI 기술뿐 아니라 AI 테스팅과 평가 규범을 선도하는 분기점이 될 것이다.”고 밝혔다.
한편 이번 국제표준은 전종홍 ETRI 지능정보표준연구실 책임연구원이 최초 제안했고, 소프트웨어 테스트 분야 세계적 권위자이자 STA테스팅컨설팅의 기술이사인 스튜어트 리드(Stuart Reid) 박사와 함께 공동 에디터로 활동해 완성했다. 소프트웨어 테스팅 전문기업인 STA테스팅컨설팅은 ETRI 창업기업 중 하나다. 양 기관은 ISO/IEC JTC 1 산하 AI 표준화 위원회(SC 42)와 SW 테스팅 위원회(SC 7) 간의 합동작업반(JWG 2)을 구성해 5년간 공동으로 개발을 추진했다.