구글 '터보퀀트' 쇼크…AI 메모리 압축 기술의 원리와 논란

고건 기자
입력 2026.04.03 18:05
댓글 0

구글 리서치가 지난달 24일 공개한 AI 메모리 압축 알고리즘 '터보퀀트(TurboQuant)'를 둘러싼 논란이 기술 실체 검증과 학술 윤리 문제로 번지고 있다.

터보퀀트는 거대언어모델(LLM)이 대화 맥락을 기억하는 데 쓰는 임시 메모리인 KV 캐시(Key-Value Cache)를 압축하는 알고리즘이다. AI 모델이 긴 대화를 처리할수록 이 캐시가 급격히 불어나 GPU 메모리를 잠식하는 것이 현재 AI 추론 시스템의 대표적 병목이다.

예컨대 80억 개 매개변수를 가진 모델에서 대화 길이가 3만2000토큰(단어 단위 처리 기준)에 이르면 KV 캐시만으로 약 4.6GB의 GPU 메모리가 소모된다. 터보퀀트는 이 캐시를 3~4비트 수준으로 압축해 메모리 사용량을 6분의 1로 줄이고 엔비디아 H100 GPU 기준 어텐션 연산(모델이 문맥에서 중요한 부분을 판별하는 계산) 속도를 최대 8배 높인다고 구글은 밝혔다.

또한 재학습이나 파인튜닝(기존 모델을 특정 목적에 맞게 추가 훈련하는 과정)이 필요 없어 어떤 트랜스포머 기반 모델에도 바로 적용할 수 있다는 점이 초기 관심을 끌었다.

터보퀀트의 기술 구조는 2단계로 나뉜다. 1단계인 폴라퀀트(PolarQuant)는 벡터 데이터를 기존의 직교 좌표계 대신 극좌표계(반지름과 각도)로 변환해 압축한다. 쉽게 말해 "동쪽으로 3블록, 북쪽으로 4블록"이라는 표현을 "37도 방향으로 5블록"으로 바꾸는 것과 같은 원리다.

기존 압축 방식은 데이터를 잘게 쪼갠 블록마다 기준값을 별도로 계산해 함께 저장해야 했다. 압축을 해도 이 기준값들이 메모리를 추가로 차지해 효율이 반감됐다. 폴라퀀트는 극좌표 변환을 통해 모든 벡터가 공통 기준점을 공유하게 만들어 이 추가 저장 공간 자체를 없앴다.

2단계인 QJL은 1단계 압축 후 남는 미세한 오차를 처리하는 일종의 수학적 오류 검수 장치다. 오차를 정밀하게 저장하는 대신 방향만 판별해 '크다(+1)' 또는 '작다(-1)' 두 가지로만 기록한다. 이 1비트짜리 정보가 압축 과정에서 생긴 편향을 상쇄해 모델이 문맥에서 중요한 부분을 판별하는 계산 결과가 원본과 거의 동일하게 유지된다는 것이 구글의 주장이다.

발표 직후인 3월 26일 삼성전자는 하루에 4.71% 하락했고 SK하이닉스는 6.23% 급락했다. 미국 시장에서는 마이크론이 6.97%, 샌디스크가 11.02% 폭락하며 필라델피아반도체지수가 4.8% 빠졌다. 이틀 만에 마이크론 시가총액에서만 250억 달러가 증발했다.

AI 메모리 수요 기대에 쌓아온 반도체 슈퍼사이클 서사가 소프트웨어 한 편의 알고리즘에 무너질 수 있다는 공포가 시장을 지배했기 때문이다.

클라우드플레어 CEO 매튜 프린스가 이를 두고 "구글의 딥시크 모먼트"라고 언급하면서 파장은 더욱 커졌다. 소셜미디어에서는 HBO 드라마 '실리콘밸리'의 가상 스타트업 파이드 파이퍼의 압축 알고리즘에 비유하는 밈이 빠르게 확산됐다.

그러나 패닉이 가라앉으면서 가장 먼저 나타난 것은 이것이 진짜 신기술인지에 대한 논란이었다. 터보퀀트의 기반 논문은 2025년 4월 논문 사전공개 사이트 arXiv에 처음 올라왔다. 동반 알고리즘인 폴라퀀트는 2026년 AISTATS 학회, QJL은 2025년 AAAI 학회에서 각각 이미 발표됐다.

3월 25일 시장을 흔든 것은 구글 리서치가 오는 4월 ICLR 2026 학회 정식 발표를 앞두고 자사 블로그에 재소개한 글이었다. 학계 입장에서 보면 1년 전 공개된 논문이 구글의 마케팅 채널을 통해 대중에게 처음 전달된 셈이다.

기술 범위에 대한 오해도 컸다. 터보퀀트는 AI 추론(학습이 끝난 모델이 질문에 답하는 과정) 중 KV 캐시만 압축한다. 70억 개 이상 매개변수를 가진 대형 모델은 가중치(모델 자체의 학습된 수치) 저장에만 HBM(고대역폭메모리) 140GB 이상이 필요한데 이 부분에는 터보퀀트가 전혀 영향을 주지 못한다.

뿐만 아니라 AI 모델 학습에 들어가는 특수 메모리 수요와도 완전히 무관하다. 샌디스크, 씨게이트 같은 NAND 플래시·HDD 기업까지 동반 폭락한 것은 이 구분을 무시한 과도한 반응이었다는 평가가 나온다.

실제 구현 검증에서도 간극이 확인됐다. 커뮤니티 개발자들이 직접 구현을 시도한 결과 여러 사용자가 동시에 질문을 보냈을 때 처리 속도가 사실상 멈추는 수준으로 떨어지는 문제가 보고됐다. AI 서비스 서버에서 1초에 3000~5000개 처리하던 단어 단위 출력이 18개로 급감한 사례도 나왔다.

대형 모델 성능 검증도 80억 매개변수급에서만 이뤄졌을 뿐 700억 이상 초대형 모델에서는 아직 검증된 바 없다. 구글의 공식 오픈소스 구현체는 2026년 2분기 공개 예정으로 현재는 커뮤니티 자체 구현만 존재한다.

가장 중요한 문제는 3월 31일 등장했다. ETH 취리히 포스트닥 연구자 지안양 가오가 "터보퀀트 논문이 자신의 선행 연구 RaBitQ를 표절하고 비교 실험을 의도적으로 왜곡했다"는 공개 제보를 올렸다. RaBitQ는 2024년 5월 싱가포르 난양공대 연구팀이 발표한 벡터 양자화 방법론이다.

RaBitQ의 핵심 아이디어는 데이터를 압축하기 전에 수학적 회전을 한 번 적용해 데이터 분포를 고르게 만드는 것이다. 이렇게 하면 압축 오차가 줄고 정확도가 유지된다. 가오는 터보퀀트의 1단계 압축이 바로 이 구조와 동일하다고 주장한다.

가오에 따르면 2025년 1월 터보퀀트 공동 저자인 마지드 달리리가 RaBitQ 연구팀에게 직접 이메일을 보내 RaBitQ 코드를 파이썬으로 옮기는 과정에서 생긴 오류를 고쳐달라고 요청했다. 구체적인 코드와 오류 내용까지 공유하며 도움을 받은 이메일 기록이 남아 있다. 터보퀀트 팀이 RaBitQ의 내부 구조를 논문 작성 전부터 상세히 파악하고 있었다는 정황이다.

그럼에도 2025년 4월 공개된 터보퀀트 논문과 ICLR 2026 제출본 모두에서 RaBitQ를 전혀 다른 방식의 기법으로 잘못 기술했고, 두 방법이 공유하는 핵심 설계인 랜덤 회전 단계를 아예 언급하지 않았다.

실험 비교도 문제가 됐다. 터보퀀트 논문은 RaBitQ보다 처리 속도가 수 배 빠르다고 주장했는데, 실제로는 RaBitQ를 병렬 처리를 막은 싱글코어 CPU로 측정하고 터보퀀트는 고성능 GPU로 측정한 결과였다. 슈퍼카와 자전거를 같은 조건에서 비교한 셈이다. 이 측정 조건은 논문 어디에도 밝히지 않았다.

달리리 본인의 이메일에 "싱글코어 CPU를 사용했고 멀티프로세싱이 비활성화돼 있었다"고 인정한 내용이 남아 있다. 이미 공개된 RaBitQ의 공식 C++ 구현 대신 자체 번역한 파이썬 버전을 벤치마크에 사용한 점도 문제로 지적됐다.

가오 팀은 ICLR OpenReview에 공개 코멘트를 게시하고 ICLR PC 위원장·윤리 위원장에 공식 제소를 제출했다. arXiv 기술 보고서 공개도 예고했다. 터보퀀트 1저자 아미르 잔디에는 두 번째, 세 번째 문제에 대해서는 수정을 검토하겠다고 했지만 방법론적 유사성 인정은 거부했으며 모든 수정 작업은 ICLR 2026 학회가 끝난 뒤에나 가능하다는 입장을 전했다.

국내 증권가는 제번스의 역설(효율이 높아지면 비용이 낮아져 수요가 오히려 늘어나는 현상)을 근거로 장기 반도체 수요 훼손 가능성을 낮게 본다. 삼성전자·SK하이닉스의 2026년 HBM 물량은 이미 완판 상태이고 공급 부족은 알고리즘이 아닌 공장 건설 속도에서 비롯된다는 점도 지적된다.

그러나 2027년 이후 소프트웨어 최적화 누적 효과가 하드웨어 수요 증가 속도에 유의미한 영향을 미칠 가능성을 두고는 낙관론과 비판론이 팽팽하다. 터보퀀트 논문은 4월 ICLR 2026에서 정식 발표될 예정이다. RaBitQ 연구팀이 예고한 arXiv 반박 보고서 공개 시점과 겹치면서 학술 논쟁의 향방이 주목된다.