[컴퓨터공학]AI의 숨겨진 진짜 엔진…엔비디아의 CUDA

초거대 AI 모델이 시대의 중심으로 떠오르면서 화려한 GPU와 학습 속도 경쟁만 눈에 띄지만 정작 그 뒤에서 AI 연산을 실질적으로 움직이는 기술은 따로 있다. 이름조차 낯선 ‘쿠다(CUDA)’다. 쿠다는 엔비디아가 만든 병렬 컴퓨팅 플랫폼으로 일반 이용자에게는 거의 알려져 있지 않지만 AI 산업의 중심을 떠받치는 핵심 기반 기술로 평가된다.

쿠다가 무엇인지 이해하려면 먼저 GPU의 작동 방식부터 짚어야 한다. CPU가 소수의 코어로 복잡한 일을 차례대로 처리하는 장치라면 GPU는 간단 계산을 수천 개 코어에 동시에 나눠 처리하는 데 최적화돼 있다. 문제는 “코어가 많다”는 사실만으로 AI 연산이 저절로 빨라지지 않는다는 점이다. 

복잡한 계산을 수천 조각으로 나누고 각각 어느 코어에 맡길지 배분하는 시스템이 필요하다. 쿠다는 바로 이 역할을 맡는 기술이다. GPU가 가진 연산 능력을 AI 작업에 맞게 최대한 끌어내도록 설계된 일종의 운영 플랫폼이다.

AI 모델 대부분은 행렬을 거대한 규모로 곱하고 더하는 계산으로 구성된다. 예를 들어 언어모델이 한 문장을 이해하거나 다음 단어를 예측하는 과정도 수백억 개의 숫자를 담은 행렬을 계속 변환하는 절차의 반복이다. 쿠다는 이런 행렬 연산을 GPU 내부의 일반 코어와 ‘텐서 코어’에 최적으로 배분해 병렬 처리하도록 돕는다. 

텐서 코어는 행렬 곱셈만을 위해 설계된 연산 장치로 AI 연산 속도를 끌어올리는 핵심 요소다. 쿠다의 작업 배분 능력과 텐서 코어가 결합되면서 GPU는 AI 연산에서 CPU로는 달성하기 어려운 속도를 내게 된다.

하지만 쿠다는 프로그래밍 언어도, 도구도 아니다. 쿠다 위에는 cuDNN, cuBLAS 같은 수학·딥러닝 라이브러리, 그리고 모델을 실제 서비스에 배포할 때 사용되는 텐서RT 같은 최적화 툴이 얹혀 있다. 

더 정확하게 말하면 쿠다는 “GPU가 어떻게 움직여야 AI 계산을 가장 빠르게 할 수 있는지”를 정해 놓은 설계도이자 실행 방식이다. 이 설계도 위에 AI 개발에 필요한 여러 도구가 층층이 올라간다. 예를 들어 cuDNN과 cuBLAS는 어려운 수학 계산을 대신 처리해 주는 자동 계산기 같은 역할을 한다. 

개발자가 복잡한 공식을 일일이 적지 않아도 이 계산기가 알아서 가장 빠른 방법으로 숫자를 처리해 준다. 텐서RT는 완성된 AI 모델을 실제 서비스에 올릴 때 속도를 더 끌어올려 주는 최적화 도구다. 자동차를 튜닝하듯 모델을 현실 환경에서 더 빠르게 움직일 수 있도록 다듬어 준다.

이런 도구들은 모두 쿠다 위에서 돌아가며 하나의 생태계를 이루고 있다. 그래서 쿠다는 단일 기술이라기보다는 “AI 개발자가 당장 가져다 쓸 수 있는 고속 도구 상자 묶음의 바탕이 되는 플랫폼”에 가깝다. AI 업계가 쿠다 생태계를 하나의 ‘플랫폼’으로 부르는 이유다. 

개발자는 이런 라이브러리를 사용해 복잡한 수학 연산을 직접 구현하지 않고도 고성능 AI 모델을 만들 수 있다. 자연스럽게 AI 연구와 산업 현장에서 쿠다는 사실상 표준으로 자리잡았다.

쿠다가 AI 생태계에서 독보적인 영향력을 갖게 된 데에는 기술적 이유 외에도 역사적 배경이 있다. 엔비디아는 2006년 쿠다를 공개한 뒤 꾸준히 라이브러리와 툴을 확장해 AI에 맞는 연산 방식으로 GPU 구조를 바꿔왔다. 반면 경쟁사들은 그래픽 중심의 API나 범용 연산 표준(OpenCL 등)을 유지하는 데 머물렀다. 

엔비디아는 하드웨어와 소프트웨어를 함께 설계하는 방식을 고수했고 이 때문에 쿠다는 엔비디아 GPU에 가장 자연스럽게 맞춰진 생태계가 됐다. 쉽게 말해 “GPU를 어떻게 써야 가장 빠른지”를 엔비디아 자신이 알고 있었고 그 지식을 쿠다 라이브러리로 구현해 제공한 셈이다.

이 구조 때문에 쿠다는 대체가 쉽지 않다. 경쟁사들도 ROCm 같은 대안 생태계를 개발하고 있지만 AI 연구실과 기업들이 오랜 기간 쿠다 기반으로 쌓아온 코드와 노하우를 단기간에 바꾸기 어렵다. 

GPU 장비만 바꾸는 것이 아니라 연구 환경 전체를 바꿔야 하기 때문이다. AI 시장이 급속도로 성장한 지난 10년 동안 쌓인 소프트웨어 자산이 사실상 엔비디아 쪽으로 기울어 있기 때문에 “쿠다 락인”이라는 표현도 나온다.

그래서 오늘날의 AI 산업은 엔비디아 GPU라는 하드웨어 위에 쿠다 생태계라는 소프트웨어가 얹혀 움직이는 구조로 굳어졌다. 쿠다가 없다고 해서 GPU가 작동하지 않는 것은 아니지만 AI 현장에서 요구하는 수준의 성능과 안정성을 만들기 위해서는 쿠다 생태계가 사실상 필수로 여겨지는 상황이다. 

앞으로 AI 모델이 더 커지고 계산량이 늘어날수록 이 쿠다 기반 기술의 존재감도 함께 커질 전망이다.