광주과학기술원(GIST)은 김승준 AI융합학과 교수 연구팀이 자율주행차에 활용되는 시각 인식 시스템의 보안 취약점을 진단할 수 있는 새로운 ‘적대적 공격’ 알고리즘을 개발했다고 밝혔다.
자율주행차는 도로 위 보행자, 차량, 차선, 신호등 등 다양한 객체를 실시간으로 정확하게 인식해야 안전하게 주행할 수 있다. 이를 가능하게 하는 핵심 기술이 바로 의미 분할 모델이다. 의미 분학 모델은 이미지 속의 모든 픽셀을 사물이나 배경 등 특정 의미 단위로 구분해주는 AI 기술이다. 예를 들어 자율주행차가 도로 상황을 인식할 때 차선, 보행자, 차량, 신호등 등 각각의 객체를 픽셀 단위로 정확히 구분해 안전한 주행을 가능하게 한다.
최근 딥러닝 기반 모델은 적대적 공격이라 불리는 교묘한 데이터 변형에 취약한 것으로 알려졌다. 적대적 공격 AI 모델은 딥러닝 기반 모델이 잘못된 판단을 내리도록 의도적으로 입력 데이터를 교묘히 조작하는 기법이다. 사람의 눈으로는 거의 구분되지 않는 미세한 변화에도 딥러닝 기반 모델이 보행자를 도로 표지판으로 인식하거나 신호등을 무시하는 등의 오류가 발생할 수 있어 안전을 위협한다.
이에 연구팀은 의미 분할 모델의 구조적 특성에 주목해, 기존의 공격 방식보다 정밀하게 취약점을 드러낼 수 있는 새로운 공격 기법을 고안했다.
자율주행차의 취약점 진단에 사용되는 기존의 적대적 공격이 단순히 무작위 오류를 유발하는데 그쳤다면, 이번 연구는 보행자·차선·신호등처럼 서로 다른 객체들이 계층적으로 구분되는 구조를 반영해 실제 주행 상황에서 더 위협적인 오류 시나리오를 구현했다.
연구결과 이번에 개발된 기법은 주·야간 주행 환경에서 자율주행차의 시각 인식 모델을 기존보다 3.4배 이상 교란시키는 등 월등히 높은 공격 성공률을 보였다. 자율주행 상황을 모사한 테스트에서는 신호등·보행자·차선 등 핵심 객체의 인식률을 95.3%에서 3.23%로 급감시켜, 의미 분할 모델의 취약성을 실증했다.
김승준 GIST 교수는 “이번 연구는 자율주행차의 시각 인식 시스템이 가진 근본적인 취약점을 체계적으로 분석할 수 있는 도구를 제공한다”며, “이론적으로 가장 취약한 시나리오를 사전에 분석·진단하여 더욱 견고한 방어 전략을 수립하고, 궁극적으로 자율주행차의 안전성과 신뢰성을 크게 향상시킬 수 있을 것”이라고 전했다.
연구 결과는 국제학술지 IEEE 로보틱스 앤 오토메이션 레터스(Robotics and Automation Letters) 2025년 8월호에 게재됐다. 내년 6월 오스트리아 빈에서 개최될 예정인 로봇 학술대회 ‘ICRA(IEEE International Conference of Robotics and Automation)’에서 연구 결과를 발표할 예정이다.