[AI대학원 심포지엄] 김남승 일리노이대 교수 “AI, 메모리·네트워킹·SW 스택이 진짜 경쟁력”

“인공지능(AI) 발전은 앞으로 하드웨어만 잘 만든다고 되는 것이 아닙니다. 메모리·네트워킹·소프트웨어(SW) 스택이 잘 받쳐주지 않으면 글로벌 경쟁이 어렵습니다.”

김남승 일리노이대학교 교수는 27일 여의도 FKI타워 컨퍼런스홀에서 열린 ‘2025 AI대학원 심포지엄’ 기조 강연에서 한국의 AI 발전 전략에 대해 이같이 지적했다.

김 교수는 AI 모델의 파라미터 수가 급격히 증가하면서 메모리 용량이 가장 큰 병목현상이 되고 있다고 밝혔다. “메타의 라마3 405B 모델의 경우 파라미터 저장만으로 900GB가 필요하다”며 “이를 구동하려면 엔비디아 DGX 시스템 2대(약 78억원)가 필요하다”고 말했다. GPU 하나당 HBM 메모리 용량이 80~96GB 정도인데 대용량 모델을 돌리려면 단순히 메모리 용량 확보를 위해서만도 수십 개의 GPU가 필요하다는 설명이다.

김 교수는 GPU 간 데이터 교환을 담당하는 네트워킹 기술도 강조했다. “모델 훈련 시 GPU들이 서로 협업해야 하는데 네트워킹이 최적화되지 않으면 전체 훈련 시간의 70~90%가 데이터 교환 대기시간으로 낭비된다”고 언급했다. 이어 “한국에서는 AI 연구는 많이 하고 있지만 네트워킹 관련 연구는 상대적으로 부족하다”며 “NPU 상용화를 위해서는 네트워킹 관련 연구도 많은 투자가 필요하다”고 지적했다.

김 교수가 강조한 점은 SW 스택이다. 하드웨어 위에서 모델을 돌리기 위한 SW 스택이 잘 갖춰지지 않으면 데이터를 전송할 수 있는 속도가 잘 나오지 않아 하드웨어 성능을 발휘할 수 없기 때문이다.

그는 “AMD GPU가 하드웨어 스펙상으론 더 우수함에도 불구하고 SW 최적화가 부족해 실제 엔비디아 보다 성능에서 크게 뒤처진다”고 설명했다. 이어 “엔비디아는 GPU 세대가 바뀔 때마다 1000명 이상의 인력을 투입해 소프트웨어를 최적화한다”며 “하드웨어를 잘 만드는 것보다 그 성능을 최대한 끌어낼 수 있는 소프트웨어 스택이 더 중요해졌다”고 말했다.

김 교수는 한국 NPU 성공 조건도 메모리·네트워킹·SW 스택이 관건이라고 강조했다. “NPU 개발에만 집중할 것이 아니라 AI 파이프라인 전체를 고려한 균형 잡힌 투자가 필요하다”며 “칩 개발뿐만 아니라 전체 생태계를 아우르는 시스템적 사고가 필요하다”고 말했다.

하지만 현재 국내는 이러한 SW 스택 개발을 위한 연구와 투자, 인력 모두가 부족한 상황이라고 지적했다. “인력 문제는 머신러닝 등 AI를 최대한 활용해 부족한 인력을 보완해야 한다”며 “삼성 시스템 LSI 사업부가 퀄컴 개발 인력의 3분의 1로도 훌륭한 성과를 내고 있는 것처럼, 한국 엔지니어들의 역량은 충분하다”고 말했다. 이어 “제한된 인력으로 글로벌 경쟁에서 승리하려면 AI를 활용한 하드웨어 설계와 SW 최적화가 필요하다”고 조언했다.

끝으로 그는 “전체 AI 파이프라인 관점에서 균형 있게 투자해야 한다”며 “국내는 하드웨어 관점에서 벗어나 하드웨어를 뒷받침할 SW 생태계 발전을 위해 전력을 다해야 글로벌 경쟁이 가능할 것”이라고 강조했다.