[창간 5주년 특집] 강유 서울대 교수 “AI 스케일링 법칙 둔화, 작고 강해야 이긴다”

 “작지만 똑똑한 인공지능(AI)가 3~5년 사이 산업 전반에 완성도가 높은 형태로 활성화될 것입니다. 가장 영향력 있는 분야는 금융입니다.”

강유 서울대 협동과정 인공지능전공 주임교수는 경량화된 언어모델(sLLM) 발전에 따른 산업 전망에 대해 이같이 말했다. 대형언어모델(LLM)이 아니더라고 현실적으로 개인과 산업에서 사용할 수 있는 경량화 모델이 상용화되면 산업 전반에 효율성과 활용성이 크게 향상된다고 보았다.

강유 교수는 서울대 인공지능대학원 국책 사업을 수행하는 대학원 ‘협동과정 인공지능전공’을 이끄는 대표 교수다. 현재 그는 sLLM과 금융 AI 중심 연구를 주력하고 있다. AI 기반 금융 서비스를 기업 딥트레이드를 창업한 경험도 있다. 현재는 자문 역할을 맡고 있다.

LLM은 막대한 계산 자원과 전력을 요구한다. xAI의 그록 3는 20만 장의 고성능 그래픽처리장치(GPU)로 학습됐다. 하지만 이러한 AI 성능을 일반 사용자나 기업이 구축하기에는 장벽이 너무 높다. GPU가 없어 AI 연구를 못 하는 대학도 마찬가지다. 이 문제를 해결하기 위한 해법이 바로 sLLM 연구 즉 모델 경량화 연구다. 정확도나 성능은 비슷하게 유지하면서 모델 크기를 줄이는 기술이 핵심이다.

강유 교수는 금융 산업이 sLLM 기술을 통해 산업의 변화를 강하게 체감할 분야라고 강조했다. 그는 “임팩트 있는 기술을 하고 싶다면 금융이 답”이라며 “데이터가 많고 사람들에게 미치는 영향도 크다”고 말했다. 이어 “글로벌 시장에서 AI가 의사결정 전반에 깊숙이 들어올 것”이라고 내다봤다. 강유 교수를 만나 sLLM 연구 현황과 금융 AI 기술의 미래에 대해 자세한 이야기를 나눠봤다.

- 딥러닝 모델 경량화와 효율성 향상 연구가 산업적으로 어떤 효과가 있는가.

“딥러닝 모델 경량화 분야는 산업적으로 상당한 비용 절감 효과를 가져온다. 모델이 서버에서 실행되는 경우에는 GPU와 같은 고가의 연산 자원이 많이 필요하다. 모델을 경량화하면 필요한 서버 수가 줄어들고 이에 따라 하드웨어 비용도 획기적으로 낮아진다. 예를 들어 원래는 20억 원짜리 GPU 서버 20대가 필요했던 것을 경량화를 통해 3억 원 규모의 한 대로도 충분히 처리할 수 있게 되는 식이다. 로컬 실행을 통해 개인정보도 보호할 수 있다.”

- 모델 경량화를 위한 방법은 무엇이 있나.

“경량화를 위한 방법으로는 파라미터 수를 줄이는 방식이 있다. 모델의 파라미터가 많을수록 일반적으로 정확도는 높아지지만 그만큼 학습, 저장, 추론 모두에서 시간이 오래 걸리고 비용이 많이 든다. 예를 들어 1000억 개 파라미터를 가진 모델은 정확도 90%를 낼 수 있지만 100억 개로 줄이면 정확도가 70%까지 떨어질 수 있다. 이 트레이드오프를 줄이기 위해 불필요한 파라미터를 제거하는 연구를 많이 하고 있다. 또 하나의 방법은 비트 수를 줄이는 것이다. 보통은 32비트 실수로 표현하지만, 이를 8비트 또는 4비트로 줄이면 훨씬 더 적은 메모리와 연산량으로 비슷한 수준의 정확도를 유지할 수 있게 된다. 이외에도 언어 모델의 구조 자체를 조정해 트랜스포머의 레이어 수를 줄이는 기법도 있다. 예를 들어 원래는 200개의 레이어가 있었던 모델을 100개로 줄이면서도 성능을 최대한 유지하려고 하는 방식이다.”

- 경량화 모델이 어떤 산업에 효과적인가.

“경량화 모델은 스마트폰 같은 온디바이스 환경에도 필수적이다. 최근에는 정확도 높은 LLM을 온디바이스 환경에서 쓸 수 있도록 경량화하는 연구를 진행하고 있다. 서버가 아닌 기기 자체에서 동작해야 해서 전력 소모나 메모리 제약이 큰데 이를 해결하기 위해 모델 크기를 줄이면서도 정확도를 유지하려는 것이다.”

- 지금까지 AI 발전을 이끈 스케일링 법칙은 언제까지 유효할 것으로 보나.

“스케일링 법칙은 지금까지 AI 성능을 끌어올리는 핵심 원리였다. AI 모델의 파라미터 수와 학습에 사용하는 데이터의 양을 키울수록 성능이 좋아졌다. 지금은 그 법칙의 효과가 점차 둔화하는 국면에 진입하고 있다고 본다. 스케일링의 전제는 방대한 양의 데이터다. 하지만 데이터라는 것이 결국 인간의 지식이나 행동 패턴, 활동 양상을 반영한 것이다. 이미 인터넷상에 존재하는 대부분의 정보가 수집됐다. 위키피디아나 오픈 도메인 문서 등 주요한 지식 자원도 거의 다 확보가 됐다고 본다. 향후 데이터는 조금씩 증가하겠지만 이전처럼 기하급수적으로 늘어나기는 어렵다. 데이터 측면에서는 이미 수렴에 가까운 단계에 도달했다. 파라미터 규모 역시 예전처럼 10배씩 커지는 일은 더 이상 보기 어려울 것 같다. 앞으로는 많아야 2~3배 수준의 증가에 그칠 가능성이 높다. 또 하나의 한계는 고성능 GPU가 전 세계적으로도 감당하기 어려운 수준으로 비싸지고 규모가 커졌다는 것이다. 미국 빅테크조차도 자본 대비 수익이 나올지에 대해 회의적인 시선을 갖고 있다.”

- 경량화된 대형언어모델(sLLM)이 가진 장점은.

"가장 큰 장점은 비용 절감이다. 학습이나 추론에 드는 비용이 줄어들면 기업이나 개인이 AI 기술을 보다 폭넓게 도입할 수 있게 된다. 예전에는 GPU나 대규모 서버 인프라가 필수였기 때문에 AI를 도입하는 것 자체가 큰 투자였다. sLLM을 활용하면 적은 자원으로도 충분한 성능을 낼 수 있다. 진입 장벽이 낮아진다. 이는 스마트폰 같은 디바이스에서 활용이 크다. 원래는 GPU나 배터리 소모 문제로 AI 활용이 어려웠던 모바일 환경에서도 sLLM을 쓰면 AI 기능을 탑재할 수 있게 된다. sLLM은 특정 도메인에 최적화돼 있기 때문에 정확도 높은 응답과 빠른 처리 속도라는 측면에서도 유리하다.”

- 모델이 커짐에 따라 전력, 환경 등 여러 문제가 발생하는데 이를 줄이기 위해선 어떤 노력이 필요한가.

“대표적인 방법이 모델 경량화다. 경량화란 모델의 사이즈는 줄이면서 성능은 최대한 유지하는 것이다. 이때 중요한 것은 학습과 추론 관점 모두에서의 효율성 확보다. 학습 단계에서는 대규모 연산 자원이 필요하기 때문에 학습 자체를 효율적으로 설계할 필요가 있다. 추론 단계에서는 실행 속도와 전력 효율이 관건이 된다. 최근에는 이런 추론 효율을 위해 NPU와 같은 전용 칩도 활발히 활용되고 있다. 하드웨어뿐 아니라 소프트웨어 측면에서도 경량화 기법이 함께 적용된다. 파라미터 수를 줄이거나, 비트 수를 줄이는 방식, 불필요한 레이어를 제거한 후 남은 레이어를 정밀하게 튜닝하는 방법 등이 있다. 이와 동시에 고려해야 할 점은 정확도의 유지다. 경량화를 하다 보면 원래 존재하던 성능 저하와 함께 언어 모델이 갖고 있던 할루시네이션 현상이 심화할 수 있다. 경량화는 정확도를 높이기보다는 낮아지지 않도록 버티는 방식이기 때문이다. 따라서 경량화와 함께 할루시네이션 억제를 위한 별도의 보완 기술이 필요하다. 이 두 축이 균형을 이루어야 AI 서비스의 신뢰성과 확장성이 확보될 수 있다. 연산 효율을 높이면서 정확도는 유지하려고 하는 최적화 방식을 찾는 연구라고 볼 수 있다.”

- 경량화로 인해 발생하는 할루시네이션 심화 현상은 어떻게 보완하고 있나.

”할루시네이션은 두 가지 종류가 있다. 실제 존재하지 않는 정보를 사실처럼 생성하거나 질문과 관련 없는 답변을 제공하는 식이다. 이를 해결하기 위한 접근은 크게 두 가지로 나뉜다. 첫 번째는 사실 자체가 틀린 답변을 걸러내는 방식이다. 예를 들어 이순신 장군이 2020년에 배를 만들었다는 식으로 명백히 잘못된 정보를 생성하는 경우가 있다. 이를 해결하기 위해 연구실에서는 사전에 확보된 객관적인 정보와 AI의 응답을 교차 검증하는 식으로 해결하려고 하고 있다. 두 번째는 질문과 관련 없는 정보를 제공하는 경우다. 예를 들어 ‘미국 건국 연도는’이라는 질문에 한국의 건국 연도를 답하는 식이다. 이 문제를 해결하기 위해 질문과 답변 사이의 의미적 연관성과 일관성을 평가하는 모듈을 도입하고 있다. 이러한 방식을 도입해서 실질적인 정확도와 모델 안전성 높이는 연구를 활발히 하고 있다.”

- AI 모델 경량화 연구 분야의 주요 트렌드는.

“경량화 연구 목표는 정확도는 거대 모델과 비슷하게 유지하면서 학습이나 추론 속도는 빠르게 하는 것이다. 기술적 관점에서는 크게 온디바이스 환경과 서버 환경 두 가지로 나뉜다. 온디바이스용 모델은 스마트폰 IoT 기기처럼 자원이 제한된 환경에서 작동해야 해 모델 사이즈와 연산량을 극단적으로 줄이되 정확도는 유지해야 한다. 서버 기반 모델은 비교적 자원 여유가 있지만 여전히 전력 소모와 서버 비용 문제를 줄이기 위해 경량화가 필요하다. 경량화 연구는 온디바이스·서버 환경 안에서 다시 학습 단계와 추론 단계로 구분된다. 딥러닝에서 비용이 많이 드는 두 가지 측면이 학습과 추론이다. 추론 자체도 이미 굉장히 큰 모델에서 실행된다. 최근에는 추론 단계에서의 효율성 향상이 더 중요한 이슈로 부각되고 있다.”

- sLLM의 대표 사례는 금융이다. 금융 쪽 연구를 많이 해오신 것으로 알고 있는데 어떤 점에서 주목했나.

“임팩트 있는 연구를 하려고 했다. 일상에 가장 영향을 많이 주는 것이 금융이라고 생각한다. 금융은 데이터가 풍부하고 의사결정이 정량적이라는 점에서 AI 기술이 가장 빠르게 적용될 수 있는 분야 중 하나다.”

- 금융 산업에 AI 어느 정도의 임팩트를 줄 수 있을 것으로 예상하는가.

“금융 분야는 AI 기술이 가장 활발히 적용될 수 있는 영역 중 하나이다. 기본적으로 금융은 데이터가 풍부한 산업이다. 거래 내역, 시장 가격, 고객 정보, 신용 등급, 대출 조건 등 다양한 정량·정성 데이터가 축적돼 있다. 다만 금융은 동시에 매우 보수적인 산업이기도 하다. 그만큼 정부 규제가 강하다. AI 기술이 빠르게 확산하기보다는 비교적 천천히 점진적이고 안정적인 방향으로 확장될 것으로 본다. 앞으로 AI는 의사결정 자동화에 큰 역할을 하게 될 것이다. 대출 승인 여부나 대출 금리 결정, 고객의 신용 점수 평가 등은 기존에도 정량적 기준이 중요했던 업무다. 또 고객 응대나 금융 상품 설명과 같은 부분도 AI가 많이 대체할 수 있는 영역이다. 챗봇이나 음성 AI 비서가 고객의 질문에 실시간으로 대응하면서, 개별 고객의 투자 성향이나 이력에 맞는 상품을 안내해 주는 서비스들이 늘어날 것으로 예상된다.”

- 금융 분야 AI 서비스를 하는 딥트레이드 창업했다. 현재 어떤 역할을 하고 있는가.

“지금은 자문 역할을 하고 있다. 최근 ‘당연’이라는 서비스를 출시했다. ‘당신의 연금저축’이라는 의미로 AI 기반 자산관리 서비스다. 국내는 교육열은 높은 데 금융 지능지수(IQ)가 낮고 잘못된 투자로 손해를 보는 사례도 많다. 당연은 퇴직연금이나 개인연금처럼 장기적인 자산 운용에 대해 AI 기반 포트폴리오를 만들어 준다. AI가 제안한 포트폴리오 변경안에 대해 사용자가 확인만 누르면 자동으로 자산이 재구성된다. 일반 LLM은 몇 퍼센트를 어디에 투자해야 할지 같은 정확한 수치 판단을 잘하지 못한다. 강화학습 기반 AI는 시장 데이터를 실시간으로 분석해 특정 자산의 비중을 조절할 타이밍과 범위를 예측하고 사용자에게 자문 역할을 할 수 있다. AI가 주식, 채권, 금, 원자재 등 여러 자산군에 대해 몇 퍼센트를 어떤 시점에 투자할지 결정한다.”

- 로보어드바이저가 가장 활성화된 국가는 어디이며 국내에서는 AI 투자 활성화 기반이 어떤 것이 마련돼야 한다고 보나.

“AI 투자는 장기적으로 봤을 때 분명히 활성화될 방향으로 나아가고 있다. 글로벌 금융시장에서는 이미 자산운용사나 투자은행들이 내부적으로 AI 기술을 접목해 자산 배분, 리스크 관리, 투자 전략 수립 등에 활용하고 있다. 국내에서는 아직 AI 투자가 크게 활성화되지 못한 이유는 제도적 규제가 너무 많기 때문이다. 예를 들어 퇴직연금이나 IRP 상품에서 투자할 수 있는 자산이 엄격히 제한돼 있고 금융감독원의 심사 절차도 복잡하다. 전반적으로 포지티브 규제 방식이 적용되다 보니 창의적인 서비스 개발이 쉽지 않다. 이를 개선하려면 미국처럼 네거티브 규제 방식 즉 ‘금지된 것 외에는 모두 허용하는 유연한 제도로 전환할 필요가 있다. 아울러 정책 결정 과정에 AI 전문가들의 참여가 부족하다는 점도 문제다. 금융 산업에 AI를 접목하려면 기술적 이해와 시장 현실을 함께 고려해야 하는데 현 제도 설계에는 그런 균형이 부족한 것 같다”

- 금융 외 sLLM 특화 시장으로 보고 있는 시장은.

“데이터가 있는 분야는 다 적용될 것 같다. 예를 들어 콜센터, 교육, 제조, 헬스케어, 부동산 등 모두 적용이 될 수 있다. 데이터가 많고 구조화된 분야부터 적용이 활발할 것이다. 교육의 경우 교재와 같은 콘텐츠가 체계적으로 정리돼 있어 이를 기반으로 질의응답이나 설명을 자동으로 생성하는 모델이 유용하게 쓰일 수 있다. 부동산은 아파트 시세나 거래 내역 등 표 형태의 정량 데이터가 풍부한 분야다. 이러한 데이터를 학습한 언어 모델은 특정 지역의 부동산 동향을 해석하거나 설명하는 데 활용할 수 있다. 최근 단순문서 기반 모델을 넘어서 엑셀이나 스프레드시트 같은 테이블 형태의 데이터를 이해하고 해석하거나 설명까지 할 수 있는 모델들도 활발히 연구되고 있다.”

- 최근 sLLM을 통한 AI 에이전트도 관심을 받고 있다. 이와 관련한 연구를 진행하고 있는가.

“AI 에이전트를 구성하는 핵심 기술 요소는 크게 세 가지로 나뉜다. 첫 번째는 자연어 질의응답, 두 번째는 정보 검색, 세 번째는 콘텐츠 생성이다. 각각은 질문에 대한 자연스러운 대화, 특정 문서나 정보를 찾아주는 기능, 그리고 요청에 따라 이미지를 만들거나 보고서를 생성하는 역할을 한다. 현재 스마트폰 등 개인 디바이스 안의 데이터를 기반으로 작동하는 질의응답 시스템을 중점적으로 연구하고 있다. 사용자의 사진, 메모, 일정 등 개인화된 데이터를 기반으로 답변을 제공하는 기술로 소형화된 모델(sLLM) 환경에 적합하도록 경량화된 질의응답 에이전트를 구현 중이다.

- sLLM 기술은 앞으로 1~2년, 3~5년 후 세상을 어떻게 바꿀 수 있을 것으로 보는가.

“현재 sLLM 기술은 1~2년 안에 실제로 사용할 수 있는 기술들이 지속적으로 등장할 것이다. 3~5년 정도가 지나면 다양한 산업군에서 완성도가 높은 형태로 자리 잡을 것이라 예상된다. 가장 큰 변화는 AI의 확산과 실질적 상용화다. 서비스 비용이 적어지고 생산성이 향상될 것이다.”

- 미래 발생하는 AI 양극화 문제는 없나.

“이제까지 산업혁명에서 나타난 현상처럼 기술을 확보한 개인이나 기업이 수익을 창출하고 그렇지 못한 사람과 기업은 도태될 것이다. 다만 AI 상용화에 따른 부작용도 있다. 중간 수준의 단순 업무는 AI가 대체하게 된다. 결과적으로 전문성을 갖춘 고급 기술 인력과 그렇지 않은 인력 간의 양극화 현상은 심화할 수 있다. 이는 과거 농업의 자동화 과정과도 유사하다. 농기계 도입 이후 수작업이 줄어들었듯 AI 역시 반복적이거나 정형화된 업무를 대체하게 될 것이다. 반면 고급 기술을 다룰 수 있는 인재는 더 큰 주목을 받게 된다.”

- 마지막으로 하고 싶으신 말씀은.

“일반인 입장에서는 AI 기술이 매우 빠르게 변화하고 있다는 점을 인식하고 흐름에 맞춰 적절히 대응하는 태도가 무엇보다 중요할 것 같다. AI 기술을 연구하고 개발하는 연구자 입장에서는 남이 만든 모델에 단순히 프롬프트를 입력하는 수준에서 머무르지 않고 좀 더 중요하고 핵심적인 AI 기술 자체를 개발하는 것이 중요하다. 정부 차원에서도 지속적이고 예측 가능한 지원을 해야 한다. AI는 단기간의 성과로는 한계가 있어 장기적인 관점에서 연구비가 안정적으로 지원되고 정책이 매년 흔들리지 않는 구조가 마련돼야 한다.”