“GPU 더 사지 말고 있는 거나 잘 써라”…AI 병목 잡겠다는 스타트업에 1조 몰렸다

AI 산업이 더 빠른 칩과 더 많은 데이터센터를 요구하는 방향으로 달려가고 있는 가운데, 이미 깔려 있는 장비를 제대로 활용하는 방식으로 문제를 풀겠다는 접근이 등장했다. 

미국 스타트업 Gimlet Labs는 AI 추론 단계에서 발생하는 병목을 소프트웨어로 해결하겠다는 전략으로 8000만 달러 규모의 시리즈 A 투자를 유치했다고 3월 23일 밝혔다. 이번 투자는 멘로벤처스가 주도했다.

이 회사가 겨냥한 문제는 AI 모델이 실제 서비스에 투입되는 ‘추론’ 단계에서의 비효율이다. AI는 학습보다 서비스 단계에서 더 많은 비용이 들어간다. 사용자가 질문을 던질 때마다 모델이 계산을 수행해야 하기 때문이다. 이 과정에서 GPU와 CPU, 메모리 시스템이 각각 다른 방식으로 병목을 만든다. 

연산 자체는 GPU가 담당하지만 결과를 생성하는 과정에서는 메모리 대역폭이 중요하고 외부 도구를 호출할 때는 네트워크가 병목이 된다.

Gimlet Labs는 이 문제를 소프트웨어에서 풀겠다고 나섰다. 서로 다른 종류의 칩과 시스템에 AI 작업을 나눠 동시에 처리하도록 만드는 ‘멀티 실리콘 인퍼런스 클라우드’를 구축했다. 하나의 AI 작업을 여러 조각으로 나눈 뒤 각 단계에 가장 적합한 장비를 붙이는 방식이다. CPU, GPU, 고용량 메모리 서버를 동시에 활용해 한 작업을 병렬로 돌린다.

기존에는 하나의 모델을 특정 GPU 클러스터에 올려서 처리하는 방식이 일반적이었다. Gimlet Labs는 모델 내부까지 쪼개서 일부는 GPU, 일부는 메모리 중심 시스템에서 처리하도록 만든다. 같은 모델이라도 연산이 많은 부분과 메모리를 많이 쓰는 부분을 분리해 각각 다른 장비에 태운다.

회사는 이런 방식으로 동일한 비용과 전력 조건에서 AI 추론 속도를 3배에서 최대 10배까지 끌어올릴 수 있다고 밝혔다. 현재 데이터센터에 설치된 장비 활용률이 15~30% 수준에 머물고 있다는 점을 감안하면 추가 장비를 사지 않고도 효율을 크게 높일 수 있다는 계산이다. 

여기에는 사용되지 않는 유휴 자원이 그대로 방치되면서 수천억 달러 규모의 낭비가 발생하고 있다는 판단이 깔려 있다.

시장 환경도 이 접근에 힘을 싣고 있다. 맥킨지는 2030년까지 전 세계 데이터센터 투자 규모가 약 7조 달러에 이를 것으로 추산하고 있다. AI 수요가 폭증하면서 전력과 부지, 냉각 설비까지 모두 부족해지는 상황이다. 하드웨어 확장만으로는 비용과 속도를 감당하기 어렵다는 인식이 퍼지고 있다.

Gimlet Labs는 이런 흐름 속에서 칩 제조사들과 빠르게 협력 관계를 구축했다. 엔비디아, AMD, 인텔, ARM, 세레브라스, d-Matrix 등 주요 반도체 기업들과 연동을 진행 중이다. 

이들의 제품군은 특정 칩에 종속되지 않고 다양한 아키텍처를 동시에 활용하는 구조를 전제로 하기 때문이다. 새로운 칩이 등장하거나 기존 GPU가 다른 용도로 재배치되더라도 그대로 활용할 수 있는 구조를 목표로 하고 있다.

제품은 두 가지 형태로 제공된다. 자체 클라우드를 통한 API 방식과 소프트웨어 형태의 직접 배포 방식이다. 대상 고객은 일반 개발자가 아니라 대형 AI 모델을 운영하는 연구소와 데이터센터 사업자다. 실제로 주요 모델 개발사와 대형 클라우드 기업을 고객으로 확보한 것으로 알려졌다.

회사는 지난해 10월 공개와 동시에 수천만 달러 규모의 매출을 기록했다고 밝혔다. 이후 4개월 사이 고객 수가 두 배 이상 늘었다. 창업자는 스탠퍼드 겸임교수이자 Pixie 창업자 출신인 자인 아스가르다. Pixie는 쿠버네티스 기반 관측 도구를 개발해 2020년 뉴렐릭에 인수된 바 있다.

초기 투자에는 세쿼이아의 빌 코그란, 스탠퍼드의 닉 맥키언 교수, VMware 전 CEO 라구 라구람, 인텔 CEO 립부 탄 등 실리콘밸리 핵심 인사들이 참여했다. 시드 투자까지 포함한 총 누적 투자금은 9200만 달러다. 현재 직원 수는 약 30명이다.

(썸네일 사진 출처: Gimlet labs)