“반도체, 조선업, 자동차, K팝 등에서 글로벌 선도 지위를 유지하고 있는 한국이 인공지능(AI) 분야에서도 동일한 패턴을 보이고 있습니다.”
프렘 파반(Prem Pavan) 레드햇 동남아시아·한국(SEAK) 총괄 부사장의 말이다. 그는 28일 서울 여의도 한국레드햇 본사에서 진행한 인터뷰에서 한국은 다른 아시아 국가들보다 한발 앞서 AI 시장을 발전시켰다고 밝혔다. “한국 AI 시장은 개념검증(PoC) 단계를 넘어 본격적인 상용화 단계에 진입했다”며 “한국 기업들은 이제 AI를 어떻게 만들지가 아니라, 어떻게 효율적으로 운영할지에 관심을 쏟고 있다”고 말했다. 이어 “이는 다른 아시아 국가들보다 앞선 성숙도를 보여주는 것”이라고 분석했다.
아시아 시장에서 25년 이상 비즈니스를 이끌어온 파반 부사장은 라이브퍼슨(LivePerson), 시트릭스(Citrix), 코팩스(Kofax) 등에서 아시아 지역 비즈니스를 총괄한 경험을 바탕으로 현재 레드햇에서 한국과 동남아시아 7개국을 담당하고 있다. 레드햇은 1990년대 리눅스를 세계 최초로 엔터프라이즈급으로 상용화하며 오픈소스 시장을 개척한 선구 기업이다.
이번 인터뷰는 파반 부사장과 함께 김경상 한국레드햇 대표, 김부곤 한국레드햇 부사장이 함께 진행했다.
◇ 한국 기업, AI 기술 논의에서 비용 최적화로 관심 이동
파반 부사장은 한국 AI 시장에 변화가 찾아왔다고 밝혔다. 2~3년 전에는 대형언어모델(LLM), 파인튜닝, 검색증강생성(RAG) 등 기술적 측면을 중요시했다면, 지금은 실제 프로덕션 환경에서의 운영에 관심을 보인다고 평가했다.
그는 “2022년 챗GPT와 생성형 AI가 등장한 이후 지난 2~3년간 많은 한국 기업이 다양한 실험을 해왔다”며 “이제는 PoC를 넘어 실제 서비스로 넘어가면서 많은 사용자가 이용하게 되고, 성능과 비용 최적화에 눈을 돌리게 됐다”고 설명했다.
한국 기업들이 레드햇에 가장 많이 하는 질문도 바로 ‘AI 운영 비용 효율화’라고 밝혔다. AI가 하드웨어 자원, 프로세싱, 전력, 냉각 시설 등 막대한 자원을 요구하는 ‘자원 집약적’ 기술이기 때문이다. 그는 “고객들이 그동안 GPU에 투자했다면, 이제는 그 투자에서 최대한의 수익을 내기 위해 애플리케이션을 어떻게 운영해야 하는지에 대한 대화가 주를 이루고 있다”고 말했다.
레드햇은 이런 고객 수요에 맞춰 AI 추론 단계에서 비용 효율성에 집중하고 있다고 밝혔다. 추론은 학습이 완료된 AI 모델을 실제 서비스에 적용해 결과를 도출하는 과정으로, 대규모 상용 서비스에서는 막대한 컴퓨팅 비용이 발생한다.
김경상 한국레드햇 대표는 “다른 플랫폼들과 비교해 우리는 AI 인프라 자원을 가장 최적화해서 사용할 수 있는 형태로 계속 개발하고 있다”며 “쿠버네티스에서의 강점을 바탕으로 AI 서비스 파이프라인을 효과적으로 관리할 수 있는 솔루션을 제공한다”고 설명했다.
실제로 레드햇은 자사 제품에도 AI 기술을 적극 활용하고 있다. 대표 사례가 ‘라이트스피드(Lightspeed)’라는 코딩 어시스턴트 기능이다. 개발자들이 자연어로 질문하면 코드를 생성해주거나 개발을 도와주는 AI 어시스턴트가 레드햇 제품 곳곳에 내장돼 있다. 파반 부사장은 “고객들이 우리 제품을 사용하면서 AI 어시스턴트의 도움을 받아 더 효율적으로 개발할 수 있다”고 말했다.
◇ 변화 빠른 AI에 대응 필요, 기업 AI 성공 핵심은 데이터·문화·확장성
파반 부사장은 AI 기술의 변화 속도에 대해서도 언급했다. 그는 “1950년대부터 AI에 대한 얘기가 있었지만, 2022년 11월 챗GPT 등장 이후 불과 2~3년 만에 에이전트 AI까지 나올 정도로 발전 속도가 매우 빨라졌다”며 “기술 업계는 이 변화 속도에 맞춰가는 것이 중요하다”고 말했다.
또한 AI를 전기나 인터넷 등장에 비견하며 “모든 인류에게 근본적인 변화를 불러올 기술”이라고 평가했다. 다만 “변화 속도가 너무 빨라 부모 입장에서는 내 아들 세대에 어떤 세상이 될지 걱정되기도 한다”며 “하지만 우리 모두 계속 배우는 자세로 임해야 한다”고 조언했다.
그렇다면 이 변화에 기업들은 어떻게 대처해야 할까? 파반 부사장은 한국을 포함한 아시아 기업들이 AI 중심 기업으로 전환하기 위한 성공 요인으로 데이터, 조직 문화, 확장성을 제시했다. 여기서 가장 기본은 데이터 품질과 접근성이라고 강조했다. “데이터가 어떻게 구성돼 있는지, 어떻게 접근 가능한지, 정보의 품질은 어떤지, 기업 전체에 통합된 데이터 플랫폼이 있는지 등이 매우 중요하다”며 “지역 내 최고경영자들과 대화해봐도 AI 전략을 수립하기 전에 먼저 데이터를 정리해야 한다”고 조언했다.
조직 문화 역시 성공의 핵심 요소라고 밝혔다. “AI 분야에서 성공적인 고객들을 보면 AI 계획과 도입, 활용에 있어 경영진의 의지와 추진력이 있었다”며 “이러한 지원이 없으면 AI 전환은 쉽지 않다”고 강조했다.
확장성 측면에서는 처음부터 미래를 고려한 설계가 필수라고 조언했다. “AI 여정의 초기 단계는 작을 수 있지만 확장할 수 있는 능력을 계획하는 것이 매우 중요하다”며 “첫 번째, 두 번째 성공이 있으면 갑자기 사용 사례가 늘어나고 폭발적으로 성장할 것”이라고 말했다.
김경상 대표도 “AI 워크로드나 서비스는 폭발적으로 성장할 수 있고 사용되는 물리적 장소나 채널도 확대될 가능성이 높다”며 “처음 기획할 때부터 확장 가능한 아키텍처로 구성해야 한다”고 강조했다. 또 “레드햇의 개방형 하이브리드 클라우드 아키텍처가 바로 이런 확장성을 담보하는 기반”이라고 설명했다.
◇ 레드햇, 협업 중심 오픈소스로 ‘AI 대중화’ 추진
레드햇은 AI 시장에서 경쟁보다는 협업을 강조한다. 파반 부사장은 “현재 AI 단계에서는 협업이 경쟁보다 더 중요하다”며 “소수의 전유물이었던 AI를 다수가 누릴 수 있는 강력한 능력으로 만드는 것이 목표”라고 밝혔다.
이를 위해 레드햇은 ‘Any Model, Any Accelerator, Any Cloud’ 비전을 제시했다. 어떤 모델이든, 어떤 가속기든, 어떤 클라우드 환경에서든 사용할 수 있는 유연성을 제공하겠다는 의미다. 현재 레드햇은 10개 이상의 검증된 모델을 지원하고 있으며, 고객들이 플러그앤플레이 방식으로 쉽게 활용할 수 있도록 하고 있다.
파반 부사장은 1990년대 리눅스가 개발자들만의 장난감으로 여겨졌지만 결국 모든 금융기관과 통신사, 정부기관이 사용하는 엔터프라이즈 표준이 된 사례를 들며 AI도 같은 길을 걸을 것으로 전망했다. “90년대에 누군가에게 ‘이 리눅스가 모든 은행과 통신사, 정부 기관에서 엔터프라이즈 표준으로 사용될 거야’라고 했다면 믿지 않았을 것”이라며 “하지만 레드햇이 오픈소스 소프트웨어를 엔터프라이즈에서 안전하고 견고하게 사용할 수 있도록 만들어왔다”고 강조했다. 실제로 레드햇은 2010년경 쿠버네티스 오픈소스 프로젝트를 엔터프라이즈용 ‘오픈시프트’로 패키징해 하이브리드 클라우드 솔루션으로 발전시킨 바 있다.
레드햇은 현재 AI 분야에서도 ‘llm-d’라는 새로운 오픈소스 프로젝트를 진행하고 있다. AI를 확장할 수 있게 하는 이 프로젝트는 코어위브, 구글 클라우드, IBM 리서치, 엔비디아가 창립 기여자로 참여하고, AMD, 시스코, 허깅페이스, 인텔, 람다, 미스트랄AI가 파트너로 함께하고 있다. 업계 협력을 통해 AI 기술을 더 많은 사람이 활용할 수 있도록 하는 것이 목표다. 그는 “오픈소스는 혁신을 만드는 개발자 커뮤니티, 이를 엔터프라이즈에서 안전하게 사용할 수 있도록 하는 기업, 그리고 최고 기술들을 결합해 고객 가치를 창출하는 생태계 협력이라는 세 가지 요소로 구성된다”고 설명했다.
파반 부사장은 또 ‘인간 중심 AI’의 중요성을 강조했다. “AI를 포함한 모든 기술은 인간 중심이어야 한다”며 “25년 이상 업계에 있으면서 고객들에게 기술이 중요한지 사람이 중요한지 물어보면 항상 사람이라고 답한다”고 말했다. 이어 “AI 기술이 강력해질수록 인간 중심적 접근이 더욱 중요해진다”며 “큰 힘에는 큰 책임이 따른다”고 강조했다.