[창간 5주년 특집] 김종원 GIST AI대학원장 “AI 공룡, 인프라 모아야 이긴다”

인공지능(AI) 패권 경쟁이 자본과 인프라를 앞세운 ‘공룡들의 싸움’으로 격화하고 있다. 글로벌 빅테크 기업들은 수십만 장의 고성능 그래픽처리장치(GPU)를 투입해 초거대 AI 모델을 훈련 시켜 생성 능력은 물론 추론 능력까지 갖춘 AI 모델을 출시하고 있다. 최근 xAI가 공개한 ‘그록(Grok) 3’는 무려 20만 장의 GPU로 학습시켜 전 세계를 놀라게 했다. 이러한 인프라 격차가 벌어지자 정부도 민관이 4조원을 투입해 AI 국가 컴퓨팅센터를 구축에 나섰다.

김종원 광주과학기술원(GIST) AI대학원장 겸 슈퍼컴퓨터센터장은 이러한 흐름 속에서 한국이 같은 방식으로 규모의 경쟁을 하는 것은 현실적으로 불가능하다고 진단했다. 대신 한정된 자원을 연결하고 공유해 데이터 중심의 공공 AI 인프라를 설계해야 한다고 제안했다. 지금과 같은 자원 중심의 폐쇄적이고 분산적인 AI 인프라 구조로는 경쟁력을 확보할 수 없다는 제언이다.

그는 “글로벌 공룡과 같은 방식으로는 도저히 승산이 없다”며 “한국은 기본적인 산업 규모가 작아서 분산적이고 폐쇄적인 AI 인프라 방식으로는 규모의 경제를 이룰 수 없다”고 단언했다.

김 원장은 AI 경쟁력을 확보하려면 AI 인프라 구조를 근본적으로 바꿔야 한다고 주장했다. 그는 “공룡을 이기려면 우리가 가진 인프라를 하나로 모아 최대한 똑똑하게 쓰는 길밖에 없다”며 “데이터가 순환되는 활용 중심의 살아있는 AI 인프라를 만들어야 한다”고 말했다.

이를 위해 그는 데이터센터 구축에서 연결된 데이터 레이크 모델(Connected Data Lake)을 제안했다. 데이터센터가 단순한 저장소가 아니라 데이터 수집-정제-공유-연계-AI 학습으로 이어지는 체계적이고 협업적인 구조로 바뀌어야 한다는 얘기다. 그는 “산업 도메인별로 데이터를 연계해 학습 자원으로 전환하고 순환할 수 있어야 진짜 경쟁력이 생긴다”고 설명했다.

또 김 원장은 현재 AI 인프라가 폐쇄적이라고 지적했다. “공유 주차장 없이 각자 자가용을 몰고 다니는 비효율적인 구조”라며 “개별 연구자에게 GPU 장비나 클라우드 구입을 위한 연구비만을 지원하는 기존 정책은 국가 차원에서 AI 경쟁력을 분산시키는 결과”라고 비판했다. 

이어 “광주에 위치한 AI 국가 데이터센터도 공동 활용을 지원하고 있지만 데이터 중심으로 운영되기 위해 좀 더 나아가야 한다“고 아쉬움을 표했다.

김 원장은 당장 자원 중심의 공공 AI 데이터센터 운영을 데이터 중심으로 재설계해 당장 실행해야 한다고 강조했다. 그는 “현재 AI 인프라 구조는 공유 주차장 없이 각자 자가용을 몰고 다니는 비효율적인 모델”이라며 “데이터 순환과 활용 중심의 AI 공공 인프라를 지금 만들어도 3~5년은 걸리는 구조”라고 독촉했다.

김 원장은 이러한 인프라 전환을 위해 정부 주도의 AI 인프라 생태계 재설계와 실행이 필요하다고 강조했다. 그는 “분리수거가 단지 개인의 노력만으로 되지 않듯 공공 인프라와 순환되는 데이터도 체계적인 수거·정제·유통 시스템을 만들어야 한다”며 “공공 인프라 간 연계성을 높여 데이터가 순환하고 유통될 수 있는 구조를 만들어야 진정한 효율이 나온다”고 설명했다. 이어 “지금이 AI 인프라 전략을 바꿀 결정적인 시점”이라며 “5년 후를 바라보고 당장 실행해야 한다”고 재차 강조했다.

김종원 교수와 AI 인프라 미래 전략에 대해 자세한 이야기를 나눠봤다.

- 최근까지 AI 성장을 이끌어온 스케일링 법칙이 점점 물리적 한계에 부딪히고 있다는 분석이 나온다.

“AI는 덩치 키우기 중심에서 벗어나 다차원적으로 진화 중이다. 단순히 모델 크기를 키우는 방식은 둔화하고 있지만 추론 능력이나 멀티모달 처리 능력 등 새로운 방향으로 성장하고 있다. 스케일링 법칙이 언제까지 유효할 것인지는 단정 짓기 어려운 문제다. 여전히 성장 여지는 많다고 본다. 스케일링은 한 방향만의 문제가 아니다. 다양한 요구로 발전하고 확장 중이다.”

- 초거대 AI 경쟁은 GPU 수십만 장을 바탕으로 하는 자본 싸움으로 치닫고 있다.

“미국, 중국 등과 자본 경쟁으로는 승산이 없다. 한국이 경쟁력을 높이기 위해서는 전략적 대응이 필요하다. 적정 규모의 모델과 현장 중심 AI가 해법이 될 수 있다.”

- 그러면 한국이 추구해야 할 전략은 무엇인가.

“데이터 중심의 공공 AI 인프라를 만들어야 한다. 데이터가 순환하고 유통되는 살아 있는 구조여야 한다. 지금은 GPU, 클라우드 등 자원만 지원하는 방식인데 이건 개인이 자가용 타고 다니는 것과 똑같은 비효율이다. 공유 주차장이 필요한 시점이다. 데이터의 흐름을 중심으로 한 AI 인프라 순환 구조가 핵심이다. DNA(Data-Network-AI) 개념을 중심으로 AI 인프라가 설계돼야 한다. 민·관 협력형 공공 데이터센터 모델을 확산해야 하고, 자원을 나눠 쓰는 시스템으로 효율성을 높여야 한다.”

- 인프라 중심 패러다임 변화는 어떻게 보고 있나.

“기존에는 플랫폼이 위에 있고 인프라는 아래를 받치는 피라미드 구조였다면 지금은 AI 인프라가 가장 위에서 방향을 정하는 역삼각형 구조로 바뀌었다. AI 인프라가 기술과 생태계 전체를 리드하는 구조로 재편된 것이다. 초거대 AI 모델 훈련을 하려면 방대한 연산 능력이 필요하다. 이 때문에 각국이 데이터센터를 짓고 AI 인프라 확장에 나서고 있다.

협력형 인프라의 필요성이 커지고 있다. 인프라만 커져선 안 된다. 엣지(Edge) 단의 현장 대응 인프라도 함께 성장해야 한다. 예를 들어 도시나 공공기관, 지자체 단위의 소형 인프라도 적정 규모로 유기적으로 연결돼야 한다. 스마트폰이 과거의 슈퍼컴퓨터급 성능을 갖추게 된 것처럼 앞으로는 현장 단위의 인프라도 점점 더 똑똑해질 것이다. 문제는 지금처럼 개별 기관이 따로따로 인프라를 운영하면 연결되지 않는다. 그래서 새로운 ‘공유형’, ‘협력형’ AI 인프라 모델이 필요하다.”

- 현재 제안한 Connected Data Lake 기반 공동 데이터센터 생태계의 차별점은.

“한국은 전체 시장 규모 자체가 작기 때문에 각자 따로 GPU를 사서 쓰는 지금의 방식으로는 절대 규모의 경제를 만들 수 없다. 그래서 필요한 게 바로 공유형 데이터 인프라, 즉 Connected Data Lake 구조다. 지금처럼 자원 중심의 데이터센터 구조에서는 AI 경쟁에서 살아남기 어렵다. 이 구조는 데이터센터가 단순히 데이터를 모아 저장하는 것이 아니라, 데이터 수집–정제–공유–연계–AI 학습이 모두 체계적으로 돌아가는 협력형 생태계다. 각 산업 도메인별로 데이터가 연결돼야 양질의 정제된 샘플이 확보되고 그게 진짜 AI 경쟁력이 된다. 그만큼 데이터가 돌 수 있는 순환 구조가 핵심이다.”

-데이터 중심 공공 데이터센터 모델을 만들려면 어떻게 해야 하나.

“공공이 나서서 협력형 데이터센터 모델을 만들어야 한다. 마치 의료 시스템에서 개인병원-종합병원-상급종합병원으로 이어지듯 AI 인프라도 기관 단위 센터들 간의 계층적 연결과 역할 분담이 필수다. 지금은 대학, 연구소, 기관마다 따로 놀고 있어 데이터도 인프라도 흩어져 있다. 이걸 묶고 체계화하지 않으면 아무리 돈을 써도 제자리걸음일 뿐이다. 정부가 공공성과 효율을 동시에 잡을 수 있는 인프라 설계 패러다임을 전환해야 한다. 지금은 민감 정보 우려에 막혀 데이터가 순환하지 못하는 데 현실적인 선에서 적절히 비식별화하고 유통 구조를 갖춰야 한다. 배달로봇이 배달이 목적인데 카메라에 찍히는 얼굴들을 비식별 해야 해서 활용하지 못하는 것은 말이 안 되는 일이다. AI 인프라도 활용과 현실에 맞게 움직일 수 있어야 한다.”

- 대용량 AI 연산 자원이 필요한 스타트업, 중소기업, 대학 연구자들이 공용 인프라를 활용할 수 있는 방안은.

“지금처럼 각자 자가용 GPU를 사서 따로 쓰는 방식은 비효율적이다. 국가 연구비로 개인 GPU를 사는 시대는 끝나야 한다. AI는 이제 개인 단위가 아닌 공공 인프라 기반의 협력 생태계 안에서 움직여야 한다. 연구비는 공유 인프라에 투자돼야지 개별 자가용 인프라에 쓰이면 국가적 자산으로 남지 않는다. 공동으로 사용할 수 있는 AI 데이터센터는 일종의 공유차량 모델처럼 설계된 인프라가 돼야 한다. AI 컴퓨팅 자원도 가벼운 실험부터 초거대 연산까지 단계적으로 접근 가능한 계층형 구조로 가야 효율적이다. 현재 클라우드 중심의 민간 서비스에만 의존하게 되면 국가적으로 자산이 남지 않는 구조가 되기 쉽다. 공공이 중심이 되어 중소기업, 스타트업, 연구자 등에게 필요한 연산 자원을 제공하고, 이를 적정 규모로 공유하는 방식이 정책적으로 추진돼야 한다.”

- 공공 데이터센터 개념이 가능해지려면 어떤 민관 협력 모델이 설계돼야 할까.

“현재 AI 인프라 경쟁은 누구 혼자만으로 감당할 수 있는 영역이 아니다. 대형 인프라를 짓기 위해선 공공성과 민간의 유연성을 동시에 확보하는 SPC(특수목적법인) 모델이 현실적인 대안이 될 수 있다. 지자체들도 자체적으로 AI 데이터센터를 유치하려는 움직임이 있고 이 흐름과 중앙정부, 민간 역량이 개방형 협력 구조로 엮여야 한다. 공공은 공공성의 원칙을 지키면서 민간이 참여할 수 있는 유연한 운영 모델이 병행돼야 한다는 점이다. 모든 걸 처음부터 정부가 완벽히 통제하려 하면 오히려 실패할 가능성이 크다. 성장 초기 단계에서부터 과도하게 규제를 설정하면 오히려 생태계 조성 자체가 어려워질 수 있다. 트럭부터 소형차까지 모두 들어올 수 있는 AI 데이터 인프라 모델은 공공과 민간이 함께 설계하고 운용해 누구나 효율적으로 자원을 활용할 수 있는 열린 구조가 돼야 한다.”

- 실효성 있는 국내 공공 인프라 전략 3가지를 꼽는다면.

“먼저 개별 인프라 투자 대신 공공 협력형 인프라를 구축해야 한다. 둘째는 정책은 이상적인 모델이 아니라 현실적이고 유연한 가이드라인을 바탕으로 해야 한다. 그다음 공공 인프라 간 연계성을 높여 데이터가 순환하고 유통될 수 있는 구조를 마련해야 한다. 지금 시작해도 3~5년은 걸리는 만큼 당장 실행하는 게 중요하다. 인프라는 오퍼레이션 즉 운영 체계 자체가 갖춰져야만 실효성이 있다. 이게 갖춰지는 데 최소 3년에서 5년이 걸린다. 앞으로 AI 인프라 수요는 지금보다 훨씬 폭발적으로 증가할 것이다. 빠르게 대응해야 한다.”

- 현재 진행 중인 연구는 AI 인프라 중심 기술 발전에 어떤 기여를 할 것으로 기대하나.

“작은 규모에서도 효율적인 AI 인프라 운영이 가능하다는 현실적 모델을 연구 중이다. 오픈소스 기반으로 공용 인프라를 체계화하고, 다양한 사용자의 요구에 유연하게 대응할 수 있는 구조를 구축한다. 실제 현장에서 일어나는 문제를 해결하는 실증형 연구다. 이를 통해 기업·연구자가 효율적으로 AI를 적용할 수 있도록 돕는다.”

- 1~2년 내에 AI 인프라 분야에서 AI 기술은 어떤 방향으로 발전할 것으로 예상하나.

“앞으로 1~2년 사이, AI 인프라 분야의 기술 발전은 단순한 성능 향상보다는 AI 시스템 운영 효율을 높이는 방향으로 진화할 것이다. 인프라를 효율적으로 배분하고 다양한 수요에 맞춰 설정·운영을 자동화하는 방식이다. 예를 들어 음식점에 어떤 손님(데이터나 연산 작업)을 어디에 어떻게 앉힐지 관리하는 기술이 중요해진다. AI 인프라가 잘 작동하게 만드는 기술이 중요해진다.”

- 향후 5년, AI 기술은 어떻게 진화할 것으로 보며 연구적 관심사는 무엇인가.

“AI 인프라 간 연결성에 주목하고 있다. 서로 연결돼야만 데이터가 제대로 순환되고 AI 인프라가 제대로 가치를 낼 수 있다. 이는 단순한 하드웨어 연결을 넘어 표준화 작업이 필요하다. 정책과 기술이 함께 설계돼야 한다고 보고 있다. 향후 5년을 바라본다면 데이터 중심 AI 인프라 설계를 당장 실행해야 한다. 그래야 이에 맞는 AI 인프라 운영 체계가 5년 후 안정화될 것이다.”

- AI 기술 격차에 대비해 연구자가 준비해야 할 점은.

“기술 격차는 불가피하다. 연구를 멈추지 않고 붙들고 가는 것이 중요하다. 단기 유행보다 장기적 관점에서 내실 있는 연구를 지속할 필요가 있다. 유행에 휩쓸리지 않고 각자 분야에서 실질적인 문제를 해결하려는 태도가 필요하다.”

- 강조하고 싶은 말은.

“기술 변화 속도가 매우 빠른 시기다. 이럴 때일수록 기본에 충실해야 한다. 변화에 대응하는 능력을 길러야 한다. 단기적 성과에 쫓기기보다 변화를 읽고 지속 가능한 역량을 갖추는 데 집중해야 한다. 정신을 똑바로 차려야 할 때다.”