30년 전 AI 칩의 시작, ”뉴로컴퓨터 프로젝트”

AI 반도체 시장이 급팽창하면서 NVIDIA의 H100과 같은 고성능 칩이 산업의 핵심 인프라가 되었지만 이 기술의 출발점은 의외로 2010년대가 아니라 1980년대 후반으로 거슬러 올라간다. 당시 이미 ‘AI 계산만을 위해 설계된 칩’이 등장했으며 현재 AI 반도체의 핵심 구조 역시 이 시기에 형성됐다.

연구의 중심에는 Bell Labs와 일본 정부 주도의 뉴로컴퓨터 프로젝트가 있었다. 이들이 개발한 칩은 오늘날 AI 모델의 기본 연산 구조인 ‘행렬 곱셈’을 빠르게 처리하는 데 집중돼 있었다. 

행렬 곱셈은 입력값과 가중치를 곱한 뒤 이를 더하는 연산으로 인간의 뇌를 모방한 신경망 모델의 핵심이다. 현재 AI 모델이 텍스트를 이해하고 이미지를 인식하는 과정 역시 이 연산을 반복하는 구조다.

당시 기술은 크게 두 가지 방식으로 구현됐다. 하나는 아날로그 방식이었다. 가중치를 저항값으로 저장하고 전류를 흘려보내면 물리적으로 곱셈이 수행되는 구조였다. 여러 신호를 합치면 자연스럽게 덧셈이 이뤄졌다. 회로 자체가 계산을 수행하는 셈이다. 

이 방식은 트랜지스터 수가 부족한 환경에서 계산 효율을 높이기 위한 선택이었다. 다만 전류 기반 연산은 온도 변화나 제조 공정에 따른 편차에 영향을 크게 받아 결과값이 흔들리는 문제가 있었다.

다른 하나는 디지털 병렬 처리 방식이었다. 일본 뉴로컴퓨터 프로젝트에서는 수백 개의 연산 유닛을 동시에 작동시켜 신경망 계산을 처리하는 구조를 채택했다. 이는 현재 GPU 구조와 유사하지만 범용 연산이 아닌 신경망 계산에 특화된 전용 하드웨어였다. 

문제는 메모리였다. 당시에는 가중치를 칩 내부에 충분히 저장할 수 없어 외부 메모리에서 데이터를 계속 불러와야 했고, 이 과정이 전체 성능을 제한하는 병목으로 작용했다.

이러한 초기 AI 칩은 실제로 활용되기도 했다. 대표적인 분야는 광학문자인식(OCR)과 간단한 음성 인식, 군사용 신호 분석이었다. 이미지 속 문자를 읽거나 특정 음성 패턴을 구분하는 작업을 수행했다. 다만 데이터 부족과 알고리즘 한계로 인해 복잡한 문제를 해결하는 데는 한계가 있었다. 

신경망 구조 자체가 얕았고 학습 방법도 제한적이었다. 하드웨어는 존재했지만 이를 활용할 소프트웨어와 데이터 환경이 뒷받침되지 않았기 때문이다.

이후 AI 반도체 개념이 다시 산업 중심으로 올라온 시점은 2016년이다. 구글이 공개한 Google TPU v1은 행렬 연산을 대규모로 병렬 처리하는 구조를 본격적으로 상용화한 사례였다. 이 칩은 기존 CPU 대비 수십 배 높은 효율을 기록하며 AI 전용 반도체라는 개념을 산업 표준으로 끌어올렸다.

현재의 H100과 같은 AI 칩은 이 흐름의 연장선에 있다. 구조적으로 보면 과거와 큰 차이가 없다. 여전히 행렬 곱셈을 빠르게 처리하는 것이 핵심이며 수많은 연산을 동시에 수행하는 병렬 구조가 중심이다. 다만 구현 수준에서 차이가 극단적으로 벌어졌다. 

최신 칩은 수십억 개의 연산을 초당 반복할 수 있으며 연산 정확도도 안정적으로 유지된다.

특히 메모리 구조가 크게 발전했다. 과거에는 메모리 부족이 성능을 제한했지만 현재는 고대역폭 메모리(HBM)를 통해 데이터를 초고속으로 공급할 수 있다. 이는 연산 속도보다 데이터 이동 속도가 더 중요해진 환경에서 필수 요소로 작용한다. AI 모델이 커질수록 필요한 데이터 양이 폭증하기 때문이다.

수치로 살펴보면 1990년대 뉴로컴퓨터 프로젝트에서 개발된 신경망 전용 칩은 초당 약 10억 회 수준의 연산 처리 능력을 갖춘 것으로 평가되며 이는 당시 기준에서는 고성능에 해당했지만 메모리 병목과 제한된 병렬 구조로 인해 실제 활용 성능은 이보다 더 낮은 수준에 머물렀다. 

반면 엔비디아의 현행 H100과 같은 최신 AI 반도체는 FP8 기준으로 초당 약 4000조 회에 달하는 연산을 수행할 수 있으며, 고대역폭 메모리(HBM)를 통해 초당 수 테라바이트 수준의 데이터 이동을 지원한다. 

단순 수치 비교만으로도 약 100만 배 이상의 격차가 발생한다. 이는 트랜지스터 집적도 향상뿐 아니라 대규모 병렬 연산 구조와 메모리 대역폭 개선이 결합된 결과다.

소프트웨어 환경 역시 중요한 변화다. 과거에는 하드웨어 구조에 맞춰 모델을 설계해야 했다. 지금은 CUDA와 같은 병렬 연산 플랫폼을 통해 개발자가 모델만 정의하면 하드웨어가 자동으로 최적화된 연산을 수행한다. 이로 인해 AI 모델 개발과 실행이 분리됐고 산업 확장 속도가 급격히 빨라졌다.

오늘날의 AI 반도체는 과거에 이미 등장했던 개념이 기술 환경의 발전과 함께 재구성된 결과에 가깝다. 1980~90년대의 신경망 칩은 행렬 연산 중심 구조와 병렬 처리라는 핵심 원리를 제시했고 2010년대 이후 공정 기술과 메모리, 소프트웨어가 결합되면서 이 구조가 본격적으로 산업화됐다. 

앞으로도 AI 칩 경쟁의 본질은 새로운 개념의 발명보다는 기존 구조를 얼마나 효율적으로 확장하고 구현하느냐에 상당 부분 좌우될 것으로 예상된다.