KAIST 연구진이 불완전한 시각 정보만으로도 변형 물체의 상태를 정밀하게 파악하고 능숙하게 다룰 수 있는 로봇 기술을 개발했다.
KAIST는 박대형 전산학부 교수 연구팀이 탄성 밴드처럼 형태가 연속적으로 변하고, 시각적으로 형태를 구별하기 어려운 물체도 로봇이 능숙하게 다룰 수 있게 하는 인공지능 기술인 ‘INR-DOM(아이엔알-돔, Implicit Neural-Representation for Deformable Object Manipulation)’을 개발했다고 21일 밝혔다.
로봇이 전선, 의류, 고무줄처럼 형태가 자유롭게 변형되는 물체를 다루는 기술은 제조·서비스 산업 자동화의 핵심 과제로 꼽혀왔다. 하지만 이러한 변형 물체는 모양이 일정하지 않고 움직임을 예측하기 어려워, 로봇이 이를 정확히 인식하고 조작하는 데 큰 어려움이 있었다.
박 교수 연구팀은 로봇이 관측한 부분적인 3차원 정보만으로 변형 가능한 물체의 전체 형상을 완전하게 복원하고, 이를 바탕으로 로봇의 조작 방식을 학습하는 기술을 개발했다.
또한 로봇이 특정 과제를 효율적으로 학습할 수 있도록 강화학습과 대조학습을 결합한 새로운 2단계 학습 구조를 도입했다. 학습된 제어기는 시뮬레이션 환경에서 기존 기술 대비 월등히 높은 과제 성공률을 달성했다.
변형 물체 조작은 로봇 공학의 오랜 난제 중 하나다. 변형 물체는 무한한 자유도를 가져 움직임을 예측하기 어렵고, 스스로 일부를 가리는 자기-가림(self-occlusion) 현상으로 인해 로봇이 전체적인 상태를 파악하기 어렵기 때문이다.
연구팀은 이러한 한계를 극복하기 위해 ‘잠재 신경 표현’을 활용했다. 이 기술은 로봇이 관측한 부분적인 3차원 정보를 입력받아, 보이지 않는 부분을 포함한 물체의 전체 형상을 연속적인 곡면(부호화 거리 함수, SDF)으로 재구성한다. 이를 통해 로봇은 마치 사람처럼 물체의 전체적인 모습을 상상하고 이해할 수 있게 된다.
연구팀이 개발한 INR-DOM 기술을 로봇에 탑재해 실험한 결과, 시뮬레이션 환경에서 고무링을 홈에 끼우거나, O링을 부품에 설치하거나, 꼬인 고무줄을 푸는 세 가지 복잡한 과제에서 모두 기존 최고 성능의 기술들보다 월등히 높은 성공률을 보였다. 가장 어려운 과제였던 풀기 작업에서는 성공률이 75%에 달해 기존 최고 기술(ACID, 26%)보다 약 49% 높은 성과를 거뒀다.
연구팀은 INR-DOM 기술이 실제 환경에서도 적용 가능함을 검증하기 위해 샘플 효율적인 로봇 강화학습 기법과 INR-DOM을 결합해 실환경 강화학습을 수행했다.
그 결과, 실제 환경에서의 끼우기, 설치, 풀기 작업을 90% 이상의 성공률로 수행했다. 시각적으로 구별이 어려운 양방향 꼬임 풀기 작업에서 기존 이미지 기반 강화학습 기법 대비 25% 더 높은 성공률을 기록해 시각적 모호성에도 불구하고 강인한 조작이 가능함을 입증했다.
제1 저자인 송민석 연구원은 "이번 연구는 로봇이 불완전한 정보만으로도 변형 물체의 전체 모습을 이해하고, 이를 바탕으로 복잡한 조작을 수행할 수 있다는 가능성을 보여줬다”라며, "제조, 물류, 의료 등 다양한 분야에서 인간과 협력하거나 인간을 대신해 정교한 작업을 수행하는 로봇 기술 발전에 크게 기여할 것”이라고 말했다.
이번 연구는 지난 6월 21~25일 LA USC에서 개최된 로봇 공학 분야 최상위 국제 학술대회인 ‘로보틱스: 사이언스 앤 시스템즈 (Robotics: Science and Systems, RSS) 2025’에서 발표됐다.