인공지능(AI) 워크로드의 급증이 온프레미스 서버 확대로 이어지는 추세다. 이러한 현상은 AI 도입을 가속화하는 기업이 클라우드만으로 극복하기 어려운 난제인 데이터 주권, 보안, 통제권 확보 문제에 직면했기 때문이다. AI 인프라가 전략적 자산이 된 지금, 기업은 클라우드 일변도에서 온프레미스 서버 확보에 집중하고 있다.
◇ 소리 없는 강자, 온프레미스 서버 시장
온프레미스 서버 시장이 소리없이 두각을 드러내고 있다.
클라우드 수요가 줄어든 것은 아니다. AWS, 마이크로소프트(MS), 구글 등 주요 CSP는 매 분기 최대 실적을 경신하며, 전례 없이 성장하고 있다. 다만 이 과정에서 수요 기업들이 깨달은 바는 명확하다. ‘클라우드만으로는 부족하다.’
올해는 서버 시장의 호황기였다. 타크타겟에서 발표한 보고서에 따르면, 올해 1분기 세계 서버 시장은 952억 달러 규모로 134.1% 성장하며 25년 만에 최고 성장률을 달성했다. 나아가 올해 전체 서버 시장은 3660억 달러로 전년 대비 44.6% 성장할 것으로 예상했다. 이를 통해 알 수 있듯이 클라우드와 온프레미스 모두 폭발적인 성장세를 보였다.
주목할 만한 부분은 온프레미스를 향한 기업의 태도 변화다. 엔터프라이즈 전략 그룹이 전 세계 기업 IT 리더를 대상으로 실시한 조사 결과, 응답자의 78%가 AI 애플리케이션을 온프레미스에서 운영하는 것을 선호한다고 답했다. 이는 클라우드 시장 축소를 의미한다기보다, AI 워크로드로 인해 AI 인프라 시장 수요가 급격히 커지는 중이며, 이 과정에서 기업이 클라우드만으로는 감당할 수 없는 새로운 수요에 직면했다는 점이다.
◇ 비용 & 보안 측면에서 부담스러운 클라우드
특히 기업의 AI 도입이 본격화함에 따라, 기업이 가장 먼저 고민하는 지점은 투자 규모다. 벤처캐피털 안드레센 호로위츠는 ‘클라우드 비용, 1조 달러의 역설’ 보고서에서 언급했듯이 “클라우드는 혁신, 민첩성, 성장을 최적화하기에 완벽한 플랫폼이지만, 유연성에는 비용이 따른다”며 “대기업의 경우 클라우드 비용이 자체 인프라 운영 비용의 최소 2배에 달할 수 있다”고 지적한 바 있다.
비용만이 온프레미스 회귀의 이유는 아니다. 에퀴닉스가 공개한 ‘글로벌 기술 동향 조사’ 보고서에 따르면, 국내 IT 리더 72%가 “보유하고 있는 IT 인프라가 AI 기술에 요구되는 수준에 미치지 못한다”고 응답했다. 이는 전 세계 평균(42%)과 아시아-태평양 평균(44%)의 약 1.7배에 달하는 수치다.
이뿐 아니라, 최근 기업은 AI 워크로드를 도입하면서 데이터 주권, 보안, 통제권 확보를 이유로 클라우드 대신 온프레미스 또는 프라이빗 클라우드 환경을 선호하는 경향이 뚜렷해졌다. 업타임 인스티튜트에서 발표한 보고서에 따르면, AI 애플리케이션 호스팅 위치를 결정할 때 ‘데이터 주권’이 46%의 기업에 주요 고려 요인이었다고 밝혔다.
한 예로, 네이버클라우드는 한국수력원자력(이하 한수원)과 협력해 사내망으로만 구성된 온프레미스 AI 서비스 ‘뉴로클라우드 포 하이퍼클로바X’를 개발한다고 밝혔다. 당시 한수원 관계자는 “원전 데이터는 국가 안보와 직결된 만큼 외부 클라우드에 올릴 수 없다”고 언급했다.
◇ 클라우드-온프레미스, 유연성과 통제력이 핵심
온프레미스 서버 시장 전망은 긍정적이다. 서버 시장 강자인 델 테크놀로지스(이하 델)는 AI 워크로드를 온프레미스 환경에 배치할 경우 4년간 투자수익률(ROI)이 약 1225%에 달할 수 있다는 분석을 내놨다. 이 과정에서 자체 시뮬레이션을 거친 델은 온프레미스 기반 AI 인프라를 활용해 최대 2590만 달러의 비용 절감과 운영 효율 향상이 가능하다고 밝혔다.
델 관계자는 “온프레미스 환경에서는 하드웨어와 데이터, 모델 전반에 대한 통제권을 확보할 수 있어 기업의 AI 투자 효과가 극대화한다”고 강조했다. 또한, “기업이 실험 단계를 넘어 본격적인 도입 단계로 진입하면서, 데이터 프라이버시와 경쟁 우위 확보를 위해 온프레미스 수요가 급증하고 있다”고 덧붙였다.
하지만, 오직 온프레미스 AI 구축만이 해답은 아니다. 대규모 AI 워크로드를 계획하는 기업이라면 레거시 데이터센터 개조에 수천만 달러를 투입해야 할 수도 있다. 결국 기업은 온프레미스와 클라우드 중 하나를 선택하는 것이 아니라, 양쪽의 장점을 결합한 하이브리드 전략을 추구할 필요가 있다. 보안이 중요한 핵심 데이터와 워크로드는 온프레미스에서 처리하고, 유연한 확장이 필요한 서비스는 클라우드를 활용하는 방식이다.
2025년 AI 시장은 실험 단계를 넘어 본격적인 상용화 국면에 접어들었다. 기업은 생성형 AI를 실제 업무에 접목하는 시도를 본격화하면서, 각자의 비즈니스 특성에 맞는 최적의 인프라 전략을 모색하고 있다. AI 인프라는 더 이상 비용이 아니라 전략 자산이다. 핵심은 온프레미스와 클라우드의 조합으로 보안과 효율, 확장성을 확보하는가에 달려 있다.