[반도체]H100이 퇴물? 데이터센터가 구형 AI 반도체를 버리지 못하는 이유

생성형 AI 경쟁은 이미 차세대 반도체로 넘어갔다. 엔비디아가 내놓은 최신 데이터센터용 GPU는 블랙웰 아키텍처 기반 B200과 이를 대형 랙 단위로 묶은 GB200 NVL72다. 

GB200 NVL72는 여러 개의 고성능 연산 칩을 한 덩어리처럼 연결해 거대한 AI 공장처럼 작동하도록 설계된 장비다. 대규모 언어모델을 학습하거나 수억 명의 이용자가 동시에 요청을 보내는 AI 서비스를 처리하는 데 초점을 맞춘 구조다. 성능과 전력 밀도는 이전 세대보다 크게 높아졌다.

이런 흐름만 보면 2023년과 2024년 생성형 AI 붐을 이끌었던 H100은 이미 역할을 다한 제품처럼 보인다. H100은 ‘호퍼’라는 아키텍처를 기반으로 만들어진 GPU다. 

H100은 80GB 고대역폭 메모리를 탑재했고 대규모 AI 모델 학습에 최적화됐다. 이후 메모리 용량을 늘린 H200이 등장했고, 블랙웰 세대가 공개되면서 기술 전면은 H100에서 H200과 GB200으로 이주를 완료했다.

그런데 실제 데이터센터 현장을 들여다보면 상황은 다르다. 새로 짓는 데이터센터에도 H100은 여전히 포함된다. 최신형 GPU만으로 모든 공간을 채우는 구조는 흔치 않다. 대형 클라우드 사업자들은 블랙웰 기반 랙을 일부 도입하는 동시에 H100 서버를 함께 배치한다. 

H100은 2026년 2월 현재도 판매되고 있다. 엔비디아는 호퍼 기반 제품군을 공식 제품 포트폴리오에서 유지하고 있으며, 주요 서버 제조사들은 H100을 탑재한 시스템을 지속적으로 공급한다. 글로벌 GPU 임대 플랫폼과 클라우드 사업자 카탈로그에도 H100 인스턴스가 제공되고 있다. 

데이터센터용 서버 제조사들은 H100 기반 시스템의 신규 주문을 처리하고 있으며, 일부 리전에서는 H100 장비가 대기 물량 없이 배치된다.

얼핏 보면 하루하루 새로운 기술이 나오는 AI 분야에서 구형 GPU가 들어가는 인프라를 아직도 유지하는 것을 이해하기 어렵다. 이는 인프라 구조 때문이다.

데이터센터는 전력을 끌어오는 설비, 열을 식히는 냉각 장치, 수백 대의 서버를 연결하는 네트워크 구조가 하나의 설계 체계로 묶여 있다. 지난 수년간 글로벌 기업들은 H100을 대규모로 도입했다. 그에 맞춰 전력 용량을 계산했고, 랙 배치를 설계했고, 열을 식히는 시스템을 구축했다. 

데이터센터는 수년에서 10년 이상을 내다보고 투자하는 장기 자산이다. 감가상각이 끝나지 않은 설비를 기술 세대가 바뀌었다는 이유만으로 교체하는 선택은 재무 구조를 훼손하는 좋지 않은 방법이다.

전력 문제도 걸림돌이다. 최신 블랙웰 기반 장비는 연산 성능이 높아진 만큼 소비 전력도 증가했다. 같은 공간에 더 많은 전력을 공급해야 하고, 그만큼 더 강한 냉각 설비가 필요하다. 

일부 최신 센터는 액체를 이용해 열을 식히는 고밀도 냉각 방식을 채택하지만 기존 설계로 지어진 센터는 이런 구조를 즉시 적용하기 어렵다. 이미 전력 계약과 배전 설계가 확정된 시설에서는 H200 소량을 구입하고 모든 구조를 다 뜯어고치는 것보다 H100 같은 기존 세대 GPU를 추가 배치하는 편이 현실적이다.

소프트웨어 환경도 중요한 변수다. 대형 언어모델을 학습하려면 수천 개의 GPU를 동시에 묶어 계산해야 한다. 이를 가능하게 하는 프로그램 체계는 수년간 H100을 기준으로 다듬어졌다. 

모델을 나눠 계산하는 방식, 중간 결과를 저장하는 체계, 오류가 발생했을 때 복구하는 구조가 모두 해당 환경에 맞춰 최적화됐다. 새로운 아키텍처로 전환하면 이 과정을 다시 검증해야 한다. 수억 달러 규모의 인프라에서 안정성은 성능만큼 중요하다.

AI 산업의 수익 구조도 H100을 지탱한다. 초거대 모델을 처음부터 학습하는 작업이 항상 더 많은 주목을 받지만 실제 매출은 이미 학습된 모델을 반복적으로 호출하는 ‘추론’ 단계에서 나온다. 사용자가 질문을 입력하면 AI가 답을 생성하는 과정이 추론이다. 

이 단계에서는 최신 세대가 아니라도 충분히 높은 성능을 낼 수 있다. H100은 대형 모델을 안정적으로 처리할 수 있는 능력을 갖추고 있고 가격은 초기 출시 시점보다 안정됐다. 기업용 AI 서비스나 GPU 임대 시장에서는 H100 기반 인프라가 높은 가동률을 유지한다.

공급망과 조달 전략도 영향을 준다. 최신 GPU는 초기 수요가 몰리며 가격이 높게 형성되는 경향이 있다. 반면 H100은 생산 체계가 성숙 단계에 들어섰고 중고와 리퍼비시 시장에서도 거래가 활발하다. 

스타트업이나 연구기관은 초기 투자 비용을 낮추기 위해 처음부터 H100 기반 서버를 선택한다. 클라우드 사업자들은 최신 세대와 이전 세대를 동시에 제공하는 방식으로 고객층을 나눈다. 신규 대형 학습 프로젝트에는 최신 장비가 투입되지만 이미 구축된 인프라는 H100을 중심으로 운영되고 있는 셈이다.