도로 위의 챗GPT, 엔비디아가 자동차의 언어를 가르치는 방법

최근 엔비디아의 젠슨 황이 APEC 정상회의를 계기로 방한해 삼성전자 이재용 회장, 현대차그룹 정의선 회장과 만찬을 가질 예정이라는 소식이 전해졌다. 반도체, 자율주행, 로보틱스, 인공지능. 각자의 산업 영역이 다른 세 리더가 한 자리에 모인 이유는 무엇일까.

삼성은 데이터센터와 AI 연산 인프라를, 현대차는 자율주행과 로봇 모빌리티를 향해 나아가고 있다. 그리고 그 중심에는 엔비디아가 있다. 생성형 AI의 시대를 연 이 회사가 이제는 도로 위의 인공지능, 즉 자율주행의 심장부로 스며들고 있기 때문이다. 

생성형 AI의 원리가 인간의 언어를 해석하듯 도로의 복잡한 상황을 해석하고 예측하는 데도 쓰일 수 있을까. 당연히 AI가 자율주행에도 쓰일 거라는 인식이 보편적이다. 하지만 ‘AI가 그림을 그리고 글을 쓰는 건 알겠는데 그게 어떻게 운전과 연결되는가’라는 의문이 생긴다.

이 "어떻게" 에 대해서는 아무도 이야기하지 않는다. 엄밀히 말하면 자율주행의 본질 자체는 생성형 AI와 크게 상관이 없다.

자율주행은 인간이 일일이 판단하기 어려운 영역을 기계가 도와주는 부분이기 때문에 당연히 AI와 밀접한 관계가 있지 않느냐고 반문할 수 있다. 그러나 실제로는 그렇지 않다. 생성형 AI와 자율주행은 이름만 비슷할 뿐, 실제로는 전혀 다른 세계의 기술이다. 

생성형 AI는 글을 쓰고 그림을 그리고 대화를 만드는 ‘창작형 두뇌’라면 자율주행은 센서를 통해 세상을 보고 판단하는 ‘반사신경형 두뇌’다. 테슬라나 현대차, 도요타, BMW 그룹, 폭스바겐 그룹 등이 이미 2020년 무렵부터 상당히 높은 수준의 자율주행 기능을 구현할 수 있었던 이유도 여기에 있다. 

완성차 기업들은 챗GPT 같은 대형 언어모델이 등장하기 훨씬 전부터 스스로 판단하는 인공지능을 만들어 왔다. 차의 눈 역할을 하는 카메라와 라이다(LiDAR), 레이더(RADAR)에서 들어오는 방대한 정보를 컴퓨터가 실시간으로 읽고 도로의 차선이나 신호, 보행자 움직임을 분석해 어떻게 움직일지를 결정하는 방식이다. 

이 과정은 ‘AI가 새로운 것을 만들어내는 일’이 아니라 ‘보이는 걸 즉시 판단해 반응하는 일’에 가깝다. 생성형 AI는 확률적으로 다음 단어를 예측해 문장을 이어가지만 자율주행은 눈앞의 현실을 해석해 즉시 조향·가속·제동으로 옮긴다. 

그래서 지금까지의 자율주행 기술은 ‘엔드투엔드 시스템’이라 불리는, 관측에서 조작까지 한 줄로 연결된 구조로 작동했다. 운전자가 직접 핸들을 잡는 대신 컴퓨터가 이 루프를 반복하면서 스스로 학습해온 것이다. 적어도 차가 스스로 운전한다는 그 본질적인 영역만큼은 생성형 AI가 없어도 이미 충분히 가능했던 기술이었다.

AI의 발전은 자율주행에 어떻게 기여했나

AI는 챗GPT가 등장한 2023년 이전과 이후로 나뉜다. 이 AI의 급속한 발전이 가져온 변화는 우리가 흔히 생각하듯 “차가 갑자기 사람처럼 생각하기 시작했다”는 식의 드라마틱한 진화는 아니다. 실제로 AI가 도운 것은 운전 기술 그 자체보다 ‘배우는 방식’이었다. 

예전에는 자율주행차가 도로 상황을 이해하려면 수천만 장의 도로 사진과 주행 데이터를 직접 입력받아 하나하나 규칙을 익혀야 했다. 예를 들어 빨간 신호는 멈추고, 앞차와의 거리가 좁혀지면 브레이크를 밟고, 사람이 뛰어들면 회피하라는 식이다. 

문제는 이런 방식을 아무리 반복해도 차가 새로운 상황에 약했다는 점이다. 한 번도 본 적 없는 환경에서는 제대로 반응하지 못했다. 

예전의 자율주행 시스템은 교과서적인 환경에서는 놀라울 만큼 똑똑했다. 날씨가 맑은 날, 차선이 선명하고 신호등이 정상 작동하는 도심 한복판에서는 사람보다 매끄럽게 주행했다. 그러나 문제는 세상이 늘 교과서 같지 않다는 데 있었다. 

눈이 내려 차선이 희미해지거나 신호등이 깜박거리며 오작동하는 교차로, 갑자기 멈춰 선 트럭과 그 옆을 역주행으로 지나가는 오토바이 같은 돌발 상황에서는 차량이 제대로 대응하지 못했다. 이런 환경은 학습 데이터에 거의 포함되지 않았기 때문이다. 

결과적으로 차는 브레이크를 늦게 밟거나 반대로 너무 보수적으로 반응해 멈춰 서 버리는 등 불안정한 행동을 보였다.

그런데 챗GPT의 공개 이후 LLM, 즉 대형 언어모델에서 쓰이던 ‘트랜스포머’라는 구조가 등장하면서 이야기가 달라졌다. 트랜스포머는 원래 문장 속 단어들 사이의 관계를 이해하는 기술이다. 

트랜스포머는 AI가 문맥을 이해하도록 만든 새로운 두뇌 구조다. 예전의 AI는 문장을 읽을 때 단어를 앞에서부터 차례대로 분석했다. 그래서 문장이 길어지면 앞부분의 내용을 잊어버리고 전체 맥락을 제대로 파악하지 못했다. 

예를 들어 “나는 어제 친구와 영화를 보고…”라는 문장 뒤에 “그는 재미있어 했다”라는 문장이 이어지면 AI는 여기서 ‘그’가 친구를 말하는지 나를 말하는지 헷갈려 했다. 트랜스포머는 이 문제를 ‘주의(attention)’라는 방식으로 해결했다. 

문장 전체를 한꺼번에 살피며 모든 단어가 서로 어떤 관계를 맺고 있는지를 동시에 계산하는 것이다. 덕분에 AI는 특정 단어만 보는 대신 문장의 맥락 전체를 함께 이해할 수 있게 됐다. 

이런 구조가 등장하면서 챗GPT 같은 대형 언어모델은 사람처럼 문맥을 이어받아 자연스럽게 대화하고 글의 흐름을 유지하며 완성도 높은 문장을 만들어낼 수 있게 된 것이다. 쉽게 말해 예전 AI가 단어를 하나하나 ‘낱말 카드’로 읽었다면 트랜스포머는 그 단어들을 연결해 ‘이야기의 맥락’으로 읽기 시작한 셈이다.

자율주행 연구자들은 바로 이 트랜스포머 기술을 도로 위 객체들 그러니까 차, 보행자, 신호, 차선 사이의 관계를 해석하는 데 적용할 수 있는 방법을 고민했다. 예를 들어 “앞차가 왼쪽으로 방향을 트니까 내 차는 속도를 줄여야겠구나” 같은 판단을 문장 해석하듯 자연스럽게 학습하게 된 것이다. 

LLM에서 파생된 기술을 가져온 자율주행 AI는 ‘지금’의 장면만 인식하는 것이 아니라 그 장면의 ‘다음’을 예측할 수 있게 됐다. 트랜스포머 덕분에 공간(도로)과 시간(움직임)을 함께 이해하게 된 셈이다. 

또 하나의 변화는 ‘가짜 데이터’의 활용이다. 도로에서 일어나는 드문 사고나 특이한 상황은 실제로 자주 볼 수 없다. 그래서 최근에는 AI가 스스로 이런 위험 장면을 만들어내는 ‘시뮬레이션 학습’이 확산됐다. 진짜처럼 보이는 가상의 도로를 만들어 차가 수백만 번의 위기 상황을 경험하게 하는 방식이다. 

이는 인간 운전자가 평생 겪을 수 있는 경험치를 단 며칠 만에 쌓게 만드는 수준의 훈련법이다. 여기에 더해 엔비디아 같은 회사들이 AI GPU를 만들던 역량으로 고성능 자동차용 반도체를 내놓으면서 이런 무거운 AI 모델을 실제 차량 내부에서 실시간으로 돌릴 수 있게 됐다. 

과거에는 데이터센터에서나 가능했던 연산이 이제는 자동차 한 대 안에서 이뤄지고 있다. 엔비디아는 바로 이 부분에 집중했다.

자율주행을 가속화하기 위한 엔비디아의 아이디어

엔비디아는 원래도 자율주행 기술 산업에 깊숙이 발을 담그고 있었지만 2023년 이전까지만 해도 전형적인 ‘고전 자율주행’ 방식에 집중하고 있었다. 이는 차량 주변의 이미지를 분석하고 장애물을 피하며 차선을 유지하는 기술이었다. 

굳이 따지면 AI라기보다는 패턴 인식과 고성능 연산에 기반한 정교한 알고리즘에 가까웠다. 그러나 2023년 이후 챗GPT를 비롯한 생성형 AI와 대형 언어모델(LLM)의 등장은 엔비디아의 전략에 큰 변화를 가져왔다. 생성형 AI가 직접적으로 운전 기술을 구현한 것은 아니지만 학습의 규모와 효율, 그리고 시뮬레이션 능력을 획기적으로 끌어올린 것이다.

첫 번째 변화는 학습 방식의 전환이었다. 이전까지 엔비디아의 자율주행 플랫폼은 도로 영상을 수집해 규칙을 학습하는 수준에 머물렀다. 하지만 LLM 기반 기술이 도입되면서 도로 데이터를 언어처럼 다루기 시작했다. 

도로 위의 사건을 하나의 문장으로 보고 그 안의 패턴을 문맥적으로 이해하는 방식이다. 예를 들어 ‘차선 변경 → 속도 변화 → 주변 차량의 반응’이라는 일련의 움직임을 언어모델이 문맥을 읽듯 해석해 예측하는 것이다. 

앞서 설명한 트랜스포머 구조 덕분에 가능해진 변화였다. 언어를 해석하듯 도로 상황을 처리하자 훨씬 복잡한 환경에서도 일관성 있게 판단할 수 있게 됐다.

두 번째 변화는 시뮬레이션과 데이터 생성이다. 생성형 AI의 가장 큰 장점은 새로운 데이터를 만들어낼 수 있다는 점이다. 특히 이미지와 동영상까지 만들어낼 정도로 AI가 발전하면서 이 장점은 극대화됐다. 엔비디아는 곧바로 이 기능을 자율주행 학습에 도입했다. 

실제 도로에서는 수십 년을 달려야 만날 법한 위험 상황을 가상 도로에서 재현하는 것이다. 예를 들어 보행자가 갑자기 튀어나오거나 신호등이 고장 나고 앞차가 급정거하는 등 다양한 돌발 상황을 AI가 직접 만들어낸다. 

이렇게 생성된 데이터는 자율주행 시스템의 학습 재료로 쓰인다. 엔비디아의 ‘드라이브 심(Drive Sim)’과 ‘옴니버스(Omniverse)’ 플랫폼은 이러한 가상훈련장을 지원하는 대표적인 기술이다. 사실 드라이브 심과 옴니버스는 기존에도 존재하던 기술이었지만 AI의 등장으로 날개를 달게 되었다.

먼저 시점으로 보면 옴니버스는 2020년경에 처음 공개됐고 원래 목적은 3D 그래픽과 시뮬레이션을 위한 가상 협업 플랫폼이었다. 더 정확히 말하면 디자이너나 엔지니어들이 현실 같은 3D 공간에서 차량 디자인, 공장 시뮬레이션, 충돌 실험 등을 시각화하는 툴이었다.

같은 맥락에서 드라이브 심은 엔비디아가 자율주행차를 테스트하기 위해 만든 가상 주행 시뮬레이터로 실제 도로 환경을 물리엔진으로 흉내 내는 수준이었다. 초기에는 게임 엔진 같은 도로 실험실에 불과했다.

과거의 옴니버스는 사람이 만든 모델과 애니메이션에 의존했지만, 지금은 AI가 “이런 조건에서 이런 빛과 그림자가 생기겠지”라고 스스로 판단해 새로운 환경을 합성합니다

엔비디아는 2025년 1월, 공식적으로 옴니버스 플랫폼에 생성형 AI 인공지능을 통합한다고 발표했고, 여기에는 로보틱스와 자율주행차(AV) 등 물리세계에서 움직이는 기계를 위한 AI 기술을 포함해 “텍스트 프롬프트로 3D 자산을 생성하거나 라벨을 자동 적용하는” 기능을 탑재했다.

이 시점을 기점으로 옴니버스가 AI가 세계(물리환경)를 생성하고 라벨링하며 학습환경을 만드는 쪽으로 본격 확장했음을 알 수 있다.

이어 같은 해 6월, 엔비디아 연구진은 “Cosmos-Drive-Dreams: Scalable Synthetic Driving Data Generation with World Foundation Models”을 발표했고 여기서 ‘Cosmos-Drive’라는 드라이빙 도메인 특화된 세계기반모델(world foundation model)을 도입해 고품질 합성 주행 영상 및 센서 데이터를 생성하는 파이프라인을 공개했다.

논문의 설명에 따르면 이 모델은 실제 도로에서 수집하기 어려운 ‘극단 사례’를 포함한 데이터를 대량으로 만들어내도록 설계된 바 있다.

이를 통해 보면 드라이브 심을 포함한 자율주행용 시뮬레이터와 옴니버스 플랫폼이 “생성형 AI가 없던 전통적 자율주행 시뮬레이션” 단계에서 “생성형 AI가 핵심 요소로 도입된 단계”로 전환한 시점은 대략 2025년 초부터 중반으로 볼 수 있다. 

기존에는 사람이 시뮬레이션 장면을 설계하고 라벨링하고 주행 데이터를 입력하던 방식이었다면 생성형 AI가 도입된 이후에는 AI가 텍스트나 조건으로부터 장면을 생성하거나 라벨을 자동화하고 다양한 센서·뷰포인트 데이터를 한꺼번에 합성할 수 있게 된 것이다.

마지막 세 번째는 통합형 두뇌 구조의 등장이다. 엔비디아는 2024년 ‘드라이브 토르(Drive Thor)’라는 신형 칩을 공개했다. 이 칩은 운전, 내비게이션, 인포테인먼트, 카메라 분석, 심지어 음성 비서 기능까지 하나의 칩에서 동시에 처리할 수 있다. 

드라이브 토르는 초당 2,000 테라옵스(TOPS)에 달하는 연산 능력을 갖춘 초고성능 칩으로 대형 언어모델(LLM)과 멀티모달 AI를 동시에 처리할 수 있도록 설계됐다. 이전 세대인 드라이브 오린(Drive Orin)이 정해진 자율주행 알고리즘만을 수행했다면 토르는 생성형 AI가 학습한 다양한 데이터를 통합적으로 활용할 수 있는 플랫폼으로 발전했다. 

엔비디아가 CES에서 “토르는 자율주행과 생성형 AI의 융합을 가능하게 하는 차량용 AI 플랫폼”이라고 강조한 이유가 바로 여기에 있다.

이 칩은 AI 두뇌의 GPU 버전이다. 차량 내부의 카메라, 센서, 음성, 지도 데이터를 실시간으로 통합 분석해 상황을 이해하고 그 위에서 대화형 AI 비서나 생성형 모델을 즉시 구동한다. 예컨대 앞차가 갑자기 차선을 바꾸면 브레이크를 밟고 나서 “앞차가 차선을 급히 변경했기 때문에 속도를 줄입니다”라는 문장을 생성해 운전자에게 전달할 수 있다. 

내비게이션이나 음악, 주행 모드 조정 명령도 음성으로 입력하면 LLM이 자연어를 해석해 바로 실행한다.

그래서 드라이브 토르는 생성형 AI가 자동차 안에서 실시간으로 ‘생각’하고 ‘말’하고 ‘행동’할 수 있게 해주는 물리적 기반 장치다. 아무리 정교한 AI라도 이를 처리할 연산 능력이 부족하면 실제 주행에 쓸 수 없다. 

결국 엔비디아가 생성형 AI를 자율주행에 도입했다는 의미는 차량이 ‘세상을 보는 법’, ‘배우는 법’, 그리고 ‘생각하는 법’ 자체를 새로 정의한 것이다. 예전의 자율주행이 정해진 규칙에 따라 움직이는 기계였다면 이제는 세상의 맥락을 읽고 판단하는 유기체에 가까워졌다. 

AI가 문장을 쓰듯 도로를 해석하고, 이야기를 이어가듯 교통의 흐름을 예측하는 시대가 온 것이다.