[창간 5주년 특집] 이성환 고려대 교수 “생각을 음성으로 바꾸는 BTS, 5년 후 현실로”

“‘Brain-to-Speech(BTS)’은 말을 못 하는 사람도 말을 할 수 있도록 도와주는 기술입니다.”

이성환 고려대 인공지능학과 특훈교수는 사람이 생각하거나 상상한 문장을 음성으로 출력하는 ‘BTS’ 기술에 대해 이렇게 설명했다. 뇌파를 읽고 이를 음성으로 변환하는 BTS는 장애를 극복하고 인간의 삶을 바꾸는 패러다임 전환을 예고하고 있다.

이성환 교수는 한국 AI 연구의 대표 주자이다. 그는 지금까지 SCI(E) 국제 저널 논문 242편, 국제 학술대회 발표 380편, 국내외 특허 188건을 기록, 10권 이상의 전문 서적을 집필한 AI 연구 대가다. 2017년부터 2년간 한국인공지능학회 초대 회장을 맡아 국내 AI 협력 생태계를 주도했고 2018년 평창동계올림픽에서는 AI 컬링 로봇을 선보이며 세계적 주목을 받았다. 해당 연구는 사이언스 로보틱스에 게재됐고 월스트리트저널 1면을 장식하기도 했다.

뇌-컴퓨터 인터페이스(BCI) 분야 연구도 2008년부터 이어왔다. 그는 10여 년간 BCI 기술을 기반으로 축적한 경험을 바탕으로 최근 3~4년 전부터는 인간의 생각을 음성으로 전환하는 BTS 기술 개발에 집중하고 있다.

BTS는 BCI 기술을 기반으로 구축된 응용 기술이다. 그는 “단순히 생각을 읽어내는 것을 넘어 그 생각을 음성으로 합성해 내는 것이 BTS의 핵심”이라며 “생각을 읽고 말하게 해주는 기술, 즉 상상으로 대화하는 시대가 오고 있다”고 설명했다.

BTS 기술은 단지 장애인을 위한 보조 기술을 넘어서 다양한 분야와 융합할 수 있다. 그는 “의료뿐만 아니라, 교육, 군사, 산업 등 다양한 분야에 적용이 가능하다”며 “AI가 사람의 의도와 생각을 이해하고 기계를 동작하거나 말을 하거나 행동으로 옮길 수 있다”고 말했다.

이 교수는 비침습 방식에 주목하고 있다. 그는 “두개골을 열어 센서를 삽입하는 방식은 정확도는 높지만 실용성과 수용성이 낮다”며 “헤드셋처럼 외부에서 센서를 부착하는 방식으로 기술을 개발하고 있다”고 말했다. 이에 “기술 난이도는 상승하지만 응용 가능성은 훨씬 넓다”고 말했다.

현재 이 교수 연구팀은 BTS 기술의 실현 가능성을 입증하기 위해 ‘100단어 데모 BTS 시스템’을 개발 중이다. 이 연구에 약 30명의 연구자가 참여 중이다.

그는 “내년 하반기 안에 AI가 사람이 떠올리는 100단어를 인식하고 음성으로 출력하는 시연을 선보일 계획”이라며 “기술의 실용 가능성을 대중에게 처음 입증하는 자리”라고 설명했다. 그는 단어를 시작으로 문장 구조로 확장하는 방식으로 연구를 이어간다. 그와 고려대 연구실에서 만나 BTS 기술이 향후 인간의 삶에 어떤 변화를 불러올지 그리고 그 실현 가능성에 대해 이야기를 나눴다.

- BTS 기술은 무엇인가.

“BTS는 뇌파를 분석해 사용자가 머릿속으로 떠올린 단어나 문장을 실제 음성으로 바꾸는 차세대 뇌-컴퓨터 인터페이스 기술이다. 기존 BCI가 제한된 명령어만 인식했다면, BTS는 더 자유롭고 유연한 언어 표현을 가능하게 한다. 단순히 뇌파를 인식하는 것만으로는 부족하고 이를 음성으로 합성하는 기술까지 포함돼야 BTS이다. 최근 우리 연구실에서 디퓨전 기반 EEG-음소 정렬과 생성 모델을 통해 사용자의 의도를 더 정확하게 인식하고 문장 수준 음성으로 출력하는 데 성공했다.”

- BTS 기술이 완성되면 어떤 긍정적인 효과가 있을까.

“의사소통이 어려운 환자에게 큰 도움이 될 수 있다. 루게릭병, 뇌졸중, 척수 손상 등으로 인해 언어 기능이 마비된 환자들에게 생각으로 말을 할 수 있게 해준다. 단순히 단어 수준의 의사소통을 넘어 환자의 고유한 목소리를 복원해 가족이나 의료진과 더 자연스럽게 소통할 수 있다. 이이는 정서적 안정과 삶의 질 향상에도 긍정적인 영향을 줄 수 있다.”

- 현재 BTS 연구 단계와 과제는.

“현재 BTS 기술은 실험실 단계에서 일부 문장 수준의 의도 인식이 가능한 수준까지 도달했다. 상상된 단어를 음성으로 정확히 재현하는 초기 모델을 개발하는 단계이다. 실사용을 위한 정밀도와 일반화 성능을 확보하는 데는 여전히 도전 과제가 많다. 우선은 사용자별 뇌파 패턴의 차이를 극복하기 위한 대규모 데이터 확보가 필수적이다. 또 신호 잡음 제거 기술, 개인 맞춤형 AI 모델 학습, 뇌파 기반 음소 정렬의 정밀도 개선 등 여러 기술 요소가 병행적으로 발전해야 한다.”

- BTS 연구를 시작한 계기는 무엇인가.

“언어는 단순한 정보 전달 수단을 넘어 사람과 사람을 연결하고 감정을 표현하는 가장 인간적인 도구이다. 이를 잃은 사람들이 상상만으로 소통할 수 있다면 어떨까 하는 질문이 출발점이었다. AI와 BCI 기술이 점점 더 정교해지고 있는 지금 그 상상을 현실로 만들 수 있는 적기라고 생각한다. 현재 연구를 통해 많은 가능성을 확인하는 중이다.”

- 뇌파 기반 BTS 기술은 어떤 방식으로 연구되고 있나.

“현재는 문장까지 가기 전에 단어 단위로 인식하는 연구에 집중하고 있다. 그 단어는 다시 음소라는 소리의 기본 단위로 구성돼 있기 때문에 기초부터 차근차근 접근하고 있다. 예를 들어 ‘나는 학교에 간다’는 문장을 구성하는 ‘나’, ‘학교’, ‘간다’와 같은 단어를 먼저 읽어내는 단계이다. 사과’ 같은 개별 단어를 떠올렸을 때 그것을 인식할 수 있는지를 실험하고 있다.”

- 뇌파 인식 어려운 이유는.

“똑같은 단어를 생각하더라도 사람마다 뇌파가 미묘하게 다르고, 심지어 같은 사람이 아침에 생각할 때와 밤에 생각할 때도 뇌파가 달라진다. 이처럼 뇌파 신호에는 변동성이 존재하기 때문에, 일관되게 의미를 해석하고 인식하는 것이 굉장히 어려운 일이다. 감정이 섞이면 더 복잡해진다. 같은 단어라도 기쁠 때 떠올릴 때와 슬플 때 떠올릴 때의 뇌파가 다르기 때문이다. 이것 역시 현재 우리가 풀고 있는 중요한 연구 과제 중 하나이다.”

- 최근 생성형 AI 발전 속도가 놀랍다. BTS 기술도 곧 상용화가 될까.

“많은 사람들이 AI의 발전이 빠르기 때문에 이런 기술도 곧 상용화될 거라고 기대하지만 사실 BTS 기술은 생성형 AI와는 전혀 다른 분야이다. 생각을 읽고 음성으로 합성하는 기술은 인지 신호 처리, 뇌신경 과학, 신호 해석, 감성 인식 등 여러 영역의 협업이 필요하고, 발전 속도도 상대적으로 느리다. 그렇다고 해서 불가능한 건 아니다. 현재 하는 연구는 가능성을 보여주고 있다.”

- BTS 연구는 언제 시작됐나. 현재 어느 단계이고 향후 목표는 무엇인가.

“약 4년 전부터 시작되었으며, 현재는 단어 단위의 생각을 읽어내고 이를 음성으로 출력하는 기술 개발에 집중하고 내년 가을까지 약 100단어 어휘를 인식하고 생성할 수 있는 BTS 데모 시스템을 구현하는 것이 1차 목표다. 이후에는 문장 인식으로의 기술 확장해 보다 자연스러운 BTS 기술을 구현할 계획이다. 전체 프로젝트는 약 5년간 진행된다.”

- 해외 연구 현황은 어떤가.

“침습형 방식으로 10~30단어 수준에서 연구가 진행되고 있다. 현재 우리가 도전하는 100단어 수준은 세계적으로도 높은 수준이다.”

- 연구하면서 가장 중점을 두는 요소는 무엇인가.

“정확도, 실용성, 편리성이다. 인식 정확도가 높아야 하고, 사용자에게 불편하지 않아야 한다.”

- 뉴럴링크는 환자 뇌에 뇌 신호를 수집할 수 있는 칩을 삽입해 컴퓨터와 인간을 연결하는 기술을 만들고 있다. 뇌 기반 AI 기술 가치는.

“뇌 기반 AI 기술은 아직 초기 단계지만 사람의 생각이나 의도를 기술적으로 해석하고 연결할 수 있다는 점에서 매우 주목받고 있다. 뉴럴링크와 같은 침습적 기술은 고해상도 신호를 얻을 수 있어 정밀한 제어가 가능하다는 장점이 있다. 비침습적 방식은 더 안전하고 접근성이 좋다는 강점이 있다. 이 두 가지 방식은 사람의 의도를 기술적으로 해석해 일상에 도움이 되는 방향으로 발전하고 있다는 점에서 의미가 크다.”

- BTS 기술의 가능성은.

“넘어야 할 기술적·윤리적 과제는 남아 있다. 신호의 정확도나 안정성, 개인차를 고려한 AI 학습, 장기적인 사용에 따른 피로도 문제 등 다양한 요소를 함께 풀어나가야 한다. 이러한 노력이 축적되면 앞으로 실생활에 유용한 도구로 자리 잡을 수 있을 것이다.”

- 이밖에 소비자 접점에 있는 AI 연구 사례는.

“대중의 삶과 밀접하게 연결된 다양한 AI 기술을 연구하고 있다. 사용자 맞춤형 음성 합성과 감정 표현 음성 합성 기술을 통해 사람들이 컴퓨터와 더욱 자연스럽고 몰입감 있게 소통할 수 있도록 하고 있다. 개인화 음성 변환 기술도 상호작용의 품질을 높이는 데 기여하고 있다. 텍스트·음성·이미지 등 다양한 정보를 통합적으로 이해하고 생성할 수 있는 멀티모달 생성 모델과 대형 언어모델(LLM) 기반 에이전트 기술도 함께 개발 중이다. 이는 교육 등 실제 응용 분야에서 AI 에이전트 시스템으로 활용할 수 있다. 또 AI의 판단 근거를 사용자에게 명확히 설명해 신뢰성과 투명성을 높이는 설명 가능한 인공지능(XAI), 배터리 수명 예측, 신물질·신소재 생성 등 화학 AI 분야 연구도 활발히 진행하고 있다.”

- 최근 정부에선 GPU 지원, 월드베스트LLM 등 AI 발전을 위한 다양한 정책이 추진되고 있다. 한국 AI 발전을 위해 필요한 점은.

“GPU 인프라, LLM 개발과 함께 기초연구와 인재 양성의 장기적 지원이 중요하다. 트랜스포머와 같은 혁신적인 AI 원천 기술은 단기적 성과를 좇는 패스트 팔로워 전략만으로는 탄생하기 어렵다. AI 분야에서 주도권을 확보하려면, 퍼스트 무버로서 혁신적인 기초연구에 과감히 도전할 수 있어야 한다. 실패를 감수하고 도전할 수 있는 장기적이고 자율적인 연구 환경 조성이 중요하다. 석박사급 AI 인재의 체계적인 양성이 병행돼야 한다. 산학협력, 문제 중심적 교육, 인턴십 기회 제공 등 체계적인 인재 양성 시스템에 대한 지원이 필요하다. 교수급 인재의 확보와 육성도 중요한 과제다. 안정적 연구비, 제도적 기반, 글로벌 네트워크 형성을 지원도 강화돼야 한다.”

- BTS와 같은 선진 연구 생태계 강화 방안에 대해 조언한다면.

“BTS와 같은 선진적 AI 연구는 단일 기술만으로는 구현이 어렵다. 다학제 간 융합과 유기적 협력이 필수적인 분야이다. 뇌 신호 분석, 음성 합성, 대형언어모델(LLM) 등 다양한 기술이 결합하는 분야이다. 대학·연구소·기업 간 공동 연구 체계, 지속 가능한 인프라와 장기 투자 시스템 구축이 필요하다. 융합 연구를 촉진하고 다양한 기술과 기관을 연결할 수 있는 공동 연구 체계를 확대하는 것이 가장 중요하다.”

- 현재 고려대 인공지능대학원에서는 AI 발전을 위해 어떤 노력을 하고 있나.

“급격한 진보 속에서 단순한 기술 추격자가 아닌 퍼스트 무버로서 새로운 연구 영역을 개척하는 인재를 선도적으로 양성하는 데 주력하고 있다. 최근에는 범용 인공지능(AGI)과 AI 에이전트 등 차세대 AI 기술 개발과 이를 이끌어갈 인재 양성에 집중하고 있다. 범용 인공지능 연구센터를 중심으로 자가 인지, 자가 학습, 멀티모달 통합 인지, 체화 지능, AGI 안전 기술 등 핵심 기술을 단계적으로 정의하고 연구하며, 인간 수준의 인지와 문제 해결이 가능한 신뢰 가능한 AGI 기술 개발을 목표로 한다. AI 스타펠로우십 사업을 통해 물리·화학·사회적 환경에서 실제 문제를 능동적으로 해결할 수 있는 실세계 AI 에이전트 기술을 연구하고 있으며, 이를 기반으로 창의적이고 도전적인 신진 연구자를 발굴·육성하고 있다. 국내외 기업들과의 산학협력을 통해 이론과 실무를 겸비한 인재를 양성, 학문적 깊이와 실용 역량을 함께 갖춘 균형 잡힌 AI 인재 생태계를 구축하는 데 힘쓰고 있다.”

- 마지막으로 강조하고 싶은 말은.

“AI는 이제 단순한 기술을 넘어 인간 삶 전반에 깊이 스며드는 전환의 시대에 들어섰다. 지금 필요한 것은 단기 성과보다 장기적이고 창의적인 연구를 지속할 수 있는 환경이다. 기술의 발전만큼 그 사회적 영향도 함께 고민하고 준비하는 자세가 필요하다. 기술은 사람과 조화를 이룰 때 비로소 의미를 갖는다. 고려대 인공지능대학원은 기술, 인재, 사회적 책임이 균형을 이루는 AI 생태계 조성에 앞장서겠다.”