과학기술정보통신부가 인공지능(AI) 파운데이션 모델 사업에서 그래픽처리장치(GPU) 지원 단위를 하드웨어 특성에 맞게 개선한 것으로 나타났다. 이전 사업에서 지적받았던 ‘1000장’이라는 비현실적 단위를 버리고, 실제 데이터센터 구성에 맞는 정확한 표기법을 도입했다.
◇ 독자 파운데이션 선정 기업들, GPU 배치 혼선
과기정통부는 지난 6월 ‘독자 AI 파운데이션 모델’ 사업 당시 공고문에 최종 선정된 5개 팀(LG AI연구원, 업스테이지, 네이버클라우드, SK텔레콤, NC AI)에 “H100과 B100 GPU를 각각 최소 1000장씩 제공한다”고 공고했다.
하지만 정부 관계자들이 GPU 하드웨어 특성을 제대로 이해하지 못해 실제 배치 과정에서 혼선이 발생한 것으로 밝혀졌다. GPU는 하드웨어 특성상 서버 랙 구성이나 전력·냉각 시설을 고려해 2의 거듭제곱 단위(8개, 16개, 32개 등)로 배치되는 것이 일반적이다. GPU 클러스터도 8개, 16개, 32개 단위로 묶여 서버에 장착되기 때문에 1000개라는 단위와는 맞지 않는다.
실제로 선정된 5개 기업은 SK텔레콤과 네이버클라우드가 제공하는 GPU를 임차받아 사용해야 하는 상황에서, 정부가 제시한 ‘1000장’ 단위로는 효율적인 클러스터 구성이 불가능했다. 실제 데이터센터에서는 1024개(2¹⁰) 또는 896개 같은 숫자로 조정해야 하는데, 이로 인해 선정 기업들은 GPU 할당과 클러스터 구성에서 예상치 못한 지연을 겪었다.
특히 올해 12월 첫 번째 서바이벌 평가를 앞둔 상황에서 이런 기술적 혼선은 개발 일정에 직접적인 영향을 미쳤다. 해당 사업에 참여하지 않은 기업 관계자는 “정부가 6개월마다 성과평가를 통해 참여팀을 선별하는 경쟁체제를 구축해 놓고도, 정작 GPU 클러스터 구성 같은 기본적인 인프라 배치 방식에 대한 이해가 부족해 초기 단계부터 지연이 발생했다”며 “하드웨어 특성을 고려하지 않은 지원 방식으로 인해 예상치 못한 혼선을 겪었다”고 비판했다.
◇ 새로운 특화 파운데이션 사업에선 정확한 단위로 개선
과기정통부는 해당 문제를 겪고 이 문제를 조치한 것으로 나타났다. 실제로 지난 5일 발표한 ‘인공지능 특화 파운데이션 모델 프로젝트’ 공고를 보면 ‘과제당 GPU(B200) 256장(32노드), 총 2개 과제’라고 명시했다. 256은 2⁸에 해당하는 2의 거듭제곱 수로, 실제 GPU 클러스터 구성에 적합한 단위다. 또한 ‘32노드’라는 구체적인 클러스터 구성도 함께 표기해 32노드 × 8GPU/노드 = 256GPU라는 실제 데이터센터 구성과 정확히 일치한다.
이는 이전 사업의 ‘1000장’에서 개선된 것으로, 정부 담당자들이 GPU 하드웨어 특성을 학습하고 현실적인 수치로 공고를 작성한 것으로 풀이된다. 단계별 지원 방식도 ‘1단계 B200 256장x2팀(총 512장), 2단계 팀당 B200 256장(단계평가 통과 팀에 한함)’으로 구체적으로 명시해 이전보다 명확해졌다.
◇ 정부 담당자 AI 지식 부족, 구조적 문제로 드러나
이번 GPU 단위 실수에서 개선까지의 과정은 단순한 개인 실수를 넘어 한국 정부의 AI 거버넌스 구조적 문제를 보여준다. 정부 담당자들이 AI 하드웨어 기본 지식조차 부족한 상황에서 대규모 AI 사업을 추진하다 보니 현장에서 혼선이 발생한 것이다.
이는 미국과 대조적이다. 미국의 경우 바이든 대통령의 2023년 AI 행정명령에 따라 모든 연방기관이 CAIO(Chief AI Officer)를 의무 지정했다. 재무부, 국토안보부, 법무부 등 24개 주요 연방기관과 31개 소규모 기관에 AI 전문가들이 배치돼 있다.
주정부 차원에서도 독립적인 AI 리더십을 구축하고 있다. 텍사스는 CIO가 주도하는 AI 자문위원회를 운영하고, 버몬트는 2022년 미국 최초로 AI 담당 디렉터 직책을 법률로 신설했다. 조지아, 메릴랜드 등 여러 주에서도 AI 담당 고위직을 잇따라 임명하고 있다.
실제로 지난 5월 아마존웹서비스(AWS)가 주최한 ‘AWS DC 서밋’에 방문했을 때 현장에 파라스 말릭(Paras Malik) 미국 재무부 CAIO, 아만다 크로포드(Amanda Crawford) 텍사스주 CIO가 참석했다. 말릭 재무부 CAIO는 “AI 안전은 단순히 원칙을 세우는 것만으로는 충분하지 않다”며 “그저 원칙만 있다면 선반 위에 덩그러니 있는 것처럼 아무도 주의를 기울이지 않는다”고 말해 청중의 이목을 끌었고, 크로포드 텍사스주 CIO는 “텍사스주는 몇 년 전부터 700명 이상의 공공부문 구성원이 참여하는 ‘AI 사용자 그룹’을 운영하고 있다”며 “주정부뿐 아니라 지방정부 공무원까지 AI 활용 현장의 다양한 목소리를 실시간으로 수렴한다”고 말하며 미국 공공분야에 근무하는 이들의 AI 영향력을 밝힌 바 있다.
반면 한국은 대통령실에서 국가 AI 전략을 구상하고 과기정통부 등 유관 부처가 실제 사업을 집행하는 구조다. 부처별로도 유사한 사업이 많고 주무부처인 과기정통부에서도 GPU 배치 단위 같은 기술적 세부사항에서 전문성 부족이 드러났다.
AI 업계 관계자는 “미국처럼 각 부처와 기관마다 AI 전문성을 갖춘 리더들이 있어야 한다”며 “단순히 예산을 지원하는 것이 아니라 기술적 특성을 정확히 이해하고 적절한 지원 방식을 설계할 수 있는 전문 인력 배치가 시급하다”고 말했다. 또 다른 업계 관계자는 “AI 기술이 급속도로 발전하는 만큼 정책을 기획하고 집행하는 담당자들의 AI 리터러시 향상과 함께 구조적인 거버넌스 개선이 필요하다”고 강조했다.