[편집자 주] 2024년이 저물고 ‘푸른 뱀의 해’인 2025년이 밝아오고 있습니다. 올해 AI는 큰 발전이 있었습니다. 생성형 AI 발전과 이를 기반으로 한 다양한 서비스가 등장했습니다. AI를 사용하는 이들도 많이 증가했습니다. 그렇다면, 다가오는 2025년엔 어떤 변화가 있을까요? 또 우리는 무엇을 준비해야 할까요? 이 질문의 답을 구하기 위해 AI 분야 활발한 활동을 하는 머신러닝 전문가 신정규 래블업 대표와 신년 인터뷰를 가졌습니다. GPU부터 AI 모델 개발, 서비스 출시까지 한국과 해외를 오가며 다양한 경험을 보유한 그와의 이야기를 통해 2025년 AI를 준비하고자 합니다. 독자 여러분들의 많은 관심 바랍니다.
“엔비디아 GTC 행사와 같은 해외에 가보면 놀라는 것이 냉각 기술 관련 업체가 많아졌다는 것입니다. 새로운 기술도 많아졌습니다. 그만큼 냉각 관련 시장이 커질 것으로 전망됩니다.”
신정규 래블업 대표는 최근 AI 발전 수혜 시장으로 ‘냉각’을 꼽았다. AI 연산량이 급증함에 따른 전력, 발열 문제를 해소하기 위한 냉각 시장의 붐이 올 것으로 전망했다. 이미 해외에서는 냉각 기업이 급증했고, 관련 기술도 지속 나오고 있다고 밝혔다.
냉각은 데이터센터나 고성능 컴퓨터 등에서 발생하는 열을 줄이는 기술을 뜻한다. AI 기술 발전에 따른 꼭 필요한 기술로 꼽힌다. 흔히 AI 연산에는 많은 열이 발생하는데, 이 열로 인한 문제를 냉각 시스템이 줄일 수 있기 때문이다.
사실 열은 AI 발전에 쥐약이다. 데이터센터는 서버가 동작하면서 막대한 열을 발생시킨다. 이 열을 효과적으로 관리하지 못하면 서버의 성능 저하, 시스템 과열, 심지어는 운영 중단까지 발생할 수 있다. 실제로 AI에 쓰이는 하드웨어의 경우 고온 환경이 지속되면 성능이 저하되거나 스로틀링(Throttling)이 발생해 처리 속도가 늦어진다. AI 성능이 낮아지는 것이다. 여기서 스로틀링은 전자기기나 컴퓨터 시스템에서 과열, 전력 초과를 방지하기 위해 하드웨어 성능을 의도적으로 낮추는 기능을 뜻한다.
열이 지속되면 그래픽처리장치(GPU), 중앙처리장치(CPU), 전원공급장치와 같은 하드웨어 부품은 손상을 입게 된다. 데이터센터나 컴퓨팅 운영이 중단될 수 있다. 이에 따른 데이터 손실 등의 사고도 염려된다. 무엇보다 에너지 문제가 크다. 컴퓨팅 시스템은 고온에서 더 많은 에너지를 소모하게 된다. 시스템을 냉각해 줘야 에너지 소모와 환경에 부정적 영향을 줄일 수 있다.
이 때문에 국내 데이터센터에는 다양한 냉각 기술이 들어가 있다. 물이나 냉각제를 사용해 열을 흡수하고 외부로 배출하는 △액체냉각이나 전자기기를 절연성 냉각액에 직접 담가 열을 제거하는 △침지 냉각, 물을 매개체로 사용해 열을 전도하고, 열교환기를 통해 열을 외부로 배출하는 △수냉식 냉각, 팬이나 공기 순환 장치를 통해 열을 외부로 배출하는 △공기냉각 등 다양한 냉각 기술을 데이터센터에 탑재했다. 국내 데이터센터가 춘천 등 비교적 서늘한 곳에 설치된 이유도 열을 줄이기 위한 방안이다.
신 대표는 “기업마다 서로 다른 냉각 기술로 데이터센터를 운영하고 있다”면서 “GPU는 특히 발열에 약하므로 앞으로 AI 발전을 원활하게 이루려면 냉각 기술이 발전해야 할 것”이라고 전망했다. 그에게 자세한 이야기를 들어봤다.
신정규 래블업 대표는 그래픽처리장치(GPU) 가상화 기술부터 생성형 AI 서비스까지 모두 개발한 인물이다. 하드웨어 단부터 소프트웨어 정점까지 섭렵한 인물로 꼽힌다. 하나의 GPU 램(RAM)을 컨테이너별로 0.1GPU, 0.2GPU, 2.7GPU 등으로 나눠 제공하는 GPU 가상화 기술을 만들어 AI 발전을 지원, 이미 엔비디아와 끈끈한 파트너십을 유지하고 있다. 실제로 래블업은 GTC 키노트에 ‘엔비디아 AI 엑셀러레이티드 프로그램(AI Accelerated Program)’ 파트너사로 지속 이름을 올렸다. 파트너사가 개발한 솔루션의 성능과 신뢰성을 엔비디아가 보장한다는 취지의 이 프로그램엔 어도비, 레드햇, VM웨어 등 약 100개 기업이 파트너사로 참가하고 있다. 한국에선 플랫폼 기업으론 래블업이 유일하다.
- AI 기술 발전으로 주목되는 시장이 있다면.
“냉각이다. GTC와 같은 글로벌 행사에 가보면 냉각 업체가 상당히 많이 나온다는 것을 알 수 있다. 새로 생긴 업체들도 있고, 새로운 기술을 만들겠다는 곳도 있다. AI 기술이 발전하려면 열 문제를 줄여야 한다. 이 문제를 줄일 수 있는 기술이 냉각이기 때문에 당연히 이 시장은 커질 것이다. 지금도 국내 대기업뿐 아니라 많은 글로벌 기업들이 냉각 기술 발전에 촉각을 곤두세우고 있다.”
- AI 분야에서 열 발생은 큰 문제인가.
“크고 예민한 문제다. AI 성능, 비용 효율을 넘어 환경까지 영향을 줄 수 있는 문제다. AI는 전력 소모가 심하기로 유명하다. (실제로 AI는 전기먹는 하마로 불린다) 그렇지 않아도 전력 소모가 심한데 모델이 커지고 많아지면서 전력 소모량은 더 많아지고 있다. 실제로 엔비디아 GH200 랙 하나가 돌아갈 때 사용되는 전력 소모량은 120kW다. 전기차를 초급속으로 충전할 때 사용되는 소모량의 절반 정도 된다. AI는 이 전력을 종일 쓰는 것이다. 전력을 사용할수록 열이 발생하고 이 열은 AI 성능을 낮추면서 또 더 많은 열을 발생시킨다. 이 문제를 해결하지 않고는 AI 산업이 발전하긴 힘들다.”
- GPU는 열에 얼마나 민감한가.
“GPU는 불량률이 높다. 쉽게 말해 잘 죽는다. 시장에서는 GPU를 몇 주차에 만들었는지까지 본다. 같은 공장에서 제작해도 그 시기에 따라 GPU 성능에 편차가 생기기 때문이다. 그 분포가 제각각이라 같은 GPU 모델이고 같은 공장에 나왔어도 소비자가 선호하는 제품이 있다. 이는 그만큼 GPU는 민감하고 불량률이 높다는 것을 뜻한다. 당연히 열에도 민감하고, 냉각 환경에도 예민하다.”
- 서버 업체나 반도체 업체들은 이 열을 줄이기 위해 노력하는 것으로 아는데.
“엔비디아 GB200(블랙웰)을 발표했을 때 규격을 다르게 하는 방안을 내세운 것도 발열량을 줄이기 위해서다. 냉각장치가 발달하고 있지만 그 이상으로 발열량을 줄이기 위해선 기존 규격이 바뀌어야 한다는 것을 예고한 셈이다. 구글과 마이크로소프트(MS) 등 서버 공급 기업들도 이 문제를 고민하고 있다. 냉각 파워 공급장치를 어떻게 운영할지에 대해 각각 전략을 세우고 있다.”
- 주목되는 냉각 기술이 있다면.
“사실 열을 식히는 과정에 있어서 장단점이 존재한다. 액체냉각은 공기냉각보다 열 제가 효율이 높고 고밀도 환경에 적합할 수 있지만, 초기 설치 비용이 높고 누수 위험이 있다. GPU와 같은 장치가 물이 들어간다면 업체 입장에선 큰 손실이다. 침지냉각은 고밀도 서버에 적합하고 소음이 없는 장점이 있지만, 초기 비용이 높다. 특수한 설비와 냉각액 역시 필요하다. 이처럼 냉각 기술은 저마다 장단점이 존재한다. 기업마다, 또 데이터센터마다 다른 냉각 기술을 사용하는 것도 이 때문이다. 최근 새로운 냉각 기술이 지속 개발되는 것은 고무적이다.”
- 과도한 열과 전력 사용으로 인한 환경 문제는 어떻게 줄일 수 있을까.
“AI 기술 개발만큼이나 이로 인한 환경 문제 감소 등에 대한 지원이 필요하다. AI 기술 개발은 쌀농사와 비슷하다. AI는 식량자원처럼 중요해질 것이다. 우리의 의지와 상관없이 전략 자원으로 취급을 받게 될 것이고 외국에 많이 의존해서도 안 될 것이다. 이 때문에 우리는 AI를 하려면 제대로 해야 한다. 여기에는 반드시 AI 기술 개발만 국한된 것은 아니다. 환경 문제, 열 발생 감소 등의 기술도 포함된다. 냉각 기술 발전에 대한 지원도 필요하고 우리가 전기를 사용량에 따라 과금을 매기듯, AI도 연산 사용량에 따라 과금을 매기는 방안 등 다양한 관점이 논의돼야 한다.”