GPU? TPU? ASIC? 생성형 AI가 일으킨 칩 전쟁

생성형 AI의 성능을 판가름하는 주체는 어느 순간부터 대화 주제가 모델 성능이 아니라 반도체가 되었다. “엔비디아 GPU가 없어서 서비스를 못 연다.” “구글은 TPU로 비용을 줄였다.” “빅테크가 자체 ASIC을 만든다.” 같은 말들이 쏟아지고 있는 것이 이를 반증한다.

AI가 소프트웨어 기술이라면 왜 이렇게 하드웨어 이야기가 중요해졌을까. 이유는 생성형 AI가 돌아가는 방식에 있다. AI에는 크게 두 단계가 있다. 

하나는 AI를 만드는 단계다. 인터넷 글과 이미지 같은 방대한 데이터를 넣어 모델을 학습시키는 과정이다. 이 단계를 트레이닝이라고 부른다. 다른 하나는 이미 만들어진 AI가 사용자의 질문에 답을 만드는 단계다. 우리가 챗봇에 질문을 치는 그 순간에 벌어지는 계산이 바로 추론이다. 

생성형 AI 서비스에서 실제로 돈이 계속 나가는 구간은 트레이닝보다 추론이다. 질문이 하나 들어올 때마다 엄청난 계산이 반복되기 때문이다. 그래서 어떤 칩으로 이 계산을 처리하느냐가 서비스 비용과 속도를 좌우하게 된다.

GPU는 원래 그래픽을 빠르게 그리기 위해 만든 칩이다. 화면에 떠오르는 수많은 점(픽셀)을 동시에 계산해야 해서 병렬 계산에 강하다. 이 특성이 AI 계산과 잘 맞아떨어지면서 딥러닝 시대의 표준 칩이 됐다. GPU의 가장 큰 장점은 범용성이다. 학습도 되고 추론도 된다. 

연구자가 새로운 모델을 만들 때도, 기업이 서비스를 급하게 출시할 때도 GPU 하나면 일단 시작할 수 있다. 개발자들이 쓰는 AI 도구와 라이브러리도 대부분 GPU 기준으로 만들어져 있다. 이 때문에 2025년 현재까지 생성형 AI 개발의 기본값은 여전히 GPU다. 

다만 단점도 분명하다. 이것저것 다 할 수 있는 대신 전력 소모가 크고 비용이 높다. AI 서비스를 대규모로 운영할수록 이 부담이 커진다.

TPU는 구글이 직접 설계한 AI 전용 칩이다. 이름 그대로 텐서라는 AI 계산에 자주 쓰이는 연산에 맞춰 만들어졌다. GPU처럼 여러 작업을 두루 잘하는 칩이 아니라, 딥러닝에서 반복되는 계산만 빠르고 효율적으로 처리하도록 설계됐다. 

그 결과 같은 작업을 할 때 전력 효율이 높고 비용이 낮다. 구글은 검색, 번역, 유튜브 추천 같은 자사 서비스에 TPU를 써서 GPU 의존도를 줄여왔다. 최근에는 TPU를 외부 기업에도 제공하며 “AI를 싸게 돌리고 싶다면 이걸 쓰라”는 전략을 펴고 있다. 

다만 TPU는 구글 생태계 중심으로 발전해왔기 때문에 개발자 입장에서 진입 장벽이 있었다. GPU에서 쓰던 코드가 그대로 안 돌아가는 경우가 많았기 때문이다. 그래서 최근 구글은 파이토치 같은 대중적인 AI 개발 도구와 TPU의 호환성을 강화하는 데 공을 들이고 있다.

ASIC은 더 극단적인 선택이다. ASIC은 특정 목적만을 위해 만든 주문 제작 칩이다. 이 칩은 범용성이 거의 없다. 대신 정해진 작업을 할 때는 가장 빠르고 가장 싸다. 

대규모 AI 서비스를 운영하는 기업들은 반복되는 추론 패턴이 있다. 질문을 받아서 답을 생성하고 추천 결과를 계산하는 일이 하루에도 수억 번씩 반복된다. 이런 작업만 놓고 보면 GPU는 과하다. 

그래서 빅테크 기업들은 “자주 쓰는 계산만 남기고 나머지는 버리자”는 발상으로 자체 ASIC을 만들기 시작했다. 아마존은 추론용 칩과 학습용 칩을 따로 만들었고, 메타와 마이크로소프트도 데이터센터에 자체 AI 가속기를 배치하고 있다. 이들은 칩 설계부터 서버 구성, 소프트웨어까지 한 번에 맞춰 비용을 줄인다.

이 흐름을 종합하면 역할 분담이 잘 보인다. AI를 연구하고 새로운 서비스를 빠르게 만드는 단계에서는 GPU가 가장 편하다. 

여전히 시장의 중심은 GPU이고 이 분야의 강자는 엔비디아다. 반면 서비스가 커지고 사용자가 늘어나면 추론 비용이 문제로 떠오른다. 이때 등장하는 대안이 TPU와 ASIC이다. TPU는 구글식 해법이고 ASIC은 각 기업이 자기 서비스에 맞춰 선택하는 최종 카드라고 볼 수 있다.

2025년 말 기준으로 생성형 AI 경쟁의 핵심은 모델 숫자가 아니라 “같은 답변을 누가 더 싸고 빠르게 만드느냐”로 옮겨갔다. 결국 AI 이야기는 필연적으로 전력, 데이터센터, 반도체 이야기로 이어질 수밖에 없다.

현재는 GPU, TPU, ASIC이 용도를 나눠 점유율을 차지하고 있지만 앞으로 다시 통일될지, 각자의 영역이 완전히 굳혀져 갈라질지는 그 누구도 모른다. 생성형 AI 시대를 이해하려면 알고리즘만큼이나 이 칩 전쟁의 맥락과 진행 경과를 함께 봐야 하는 이유다.