AI는 이제 추론 전쟁으로…구글, 7세대 TPU ‘Ironwood’ 공개

구글이 미국 라스베이거스에서 열린 연례 개발자 행사 ‘Cloud Next ’25’에서 7세대 텐서처리장치(TPU) ‘Ironwood’를 공개했다. 이번 칩은 이미 학습된 모델을 실제 서비스에 연결해 구동하는 ‘추론(inference)’ 작업에 초점을 맞췄다. AI 산업의 무게중심이 이제는 훈련 경쟁에서 서비스 운영 경쟁으로 이동하고 있기 때문이다.

TPU는 구글이 자체 설계한 AI 전용 반도체다. 일반 중앙처리장치(CPU)나 그래픽처리장치(GPU)와 달리 대량의 행렬 연산을 빠르게 처리하도록 만들어졌다. 그동안 구글은 자사 클라우드와 검색, 유튜브 등 서비스에 TPU를 활용해 왔다. Ironwood는 이 계열의 일곱 번째 세대 제품이다.

구글은 이번 칩이 대규모 AI 모델의 추론 작업을 대량으로 처리하도록 설계됐다고 밝혔다. 추론은 학습이 끝난 AI 모델이 실제 사용자의 질문이나 요청에 답을 생성하는 단계다. 

예를 들어 챗봇이 문장을 만들어내거나 이미지 생성 모델이 그림을 그리는 과정이 추론에 해당한다. 서비스 이용자가 늘어날수록 이 단계에서 막대한 연산 자원이 필요하다.

회사 측은 Ironwood가 이전 세대 TPU 대비 처리 성능과 전력 효율을 크게 개선했다고 설명했다. 데이터센터 단위로 수천 개 칩을 묶어 운용할 수 있도록 설계됐으며 대형 AI 모델을 동시에 처리하는 데 최적화됐다는 것이다. 구글은 칩 단위 성능은 물론 수천 개를 연결했을 때의 집합 성능을 강조했다. 

이번 발표에서 구글은 AI 산업이 ‘추론 시대’에 진입하고 있다고 밝혔다. 그동안 AI 기업들은 더 큰 모델을 학습시키는 데 집중해 왔다. 모델 규모와 학습 데이터 양이 경쟁의 핵심이었다. 그러나 실제 수익은 모델을 학습한 이후 이를 서비스에 연결해 반복적으로 구동하는 과정에서 발생한다. 

구글은 Ironwood가 이런 서비스 단계의 연산 수요를 겨냥한 제품이라고 설명했다.

Ironwood는 구글 클라우드 고객에게 우선 제공될 예정이다. 기업은 자사 애플리케이션에 AI 기능을 탑재할 때 구글의 TPU 인프라를 활용할 수 있다. 예를 들어 고객 상담 챗봇, 실시간 번역, 이미지 분석 서비스 등에서 대량의 요청을 처리해야 하는 경우가 대표적이다. 

추론 작업은 사용자가 질문을 던질 때마다 즉각적으로 수행돼야 하므로 속도와 안정성이 핵심이다.

구글은 Ironwood 설계에서 전력 효율을 중요한 요소로 고려했다고 밝혔다. 대규모 AI 서비스는 막대한 전력을 소비한다. 데이터센터 운영 비용의 상당 부분이 전력 비용이다. 구글은 동일한 연산을 더 적은 전력으로 수행하도록 칩을 최적화했다고 설명했다. 이는 AI 확산과 함께 커지는 에너지 부담을 줄이기 위한 전략으로 해석된다.

이번 발표는 구글이 AI 반도체 분야에서 자체 기술을 강화하고 있음을 보여준다. 경쟁사들이 GPU 기반 인프라를 확대하는 상황에서 구글은 TPU라는 독자 노선을 유지하고 있다. 

Ironwood는 이 과정에서 구글이 자사 AI 모델뿐 아니라 외부 고객의 모델까지 포괄하는 클라우드 인프라를 구축하려는 의지를 드러낸다고 볼 수 있다.

Cloud Next ’25 행사에서는 Ironwood 외에도 다양한 AI 인프라 업데이트가 공개됐다. 다만 대부분의 AI 인프라 업데이트가 이를 실제 서비스로 확장하는 단계에 초점이 맞춰졌다. 구글은 AI의 상용화가 본격화되면서 추론 연산 수요가 급증하고 있다고 밝혔다.