MIT 연구진, LLM 메모리 사용량 50분의 1로 줄이는 기술 공개

대형 언어 모델을 운영할 때 가장 큰 비용 요인 중 하나로 꼽히는 메모리 사용량을 크게 줄일 수 있는 기술이 등장했다. 미국 매사추세츠공과대학(MIT) 연구진은 대형 언어 모델의 핵심 메모리 구조인 KV 캐시를 기존 대비 최대 50분의 1 수준으로 압축하면서도 성능 저하를 거의 발생시키지 않는 알고리즘을 개발했다고 밝혔다.

MIT 연구진은 2026년 3월 공개한 논문에서 ‘어텐션 매칭(Attention Matching)’이라는 방법을 제안했다. 이 기술은 대형 언어 모델이 긴 문장을 처리할 때 사용하는 KV 캐시 구조를 재구성해 메모리 사용량을 대폭 줄이는 방식이다.

대형 언어 모델은 문장을 생성할 때 이전에 등장한 단어와 문맥을 계속 참고한다. 이 과정에서 모델 내부에는 과거 토큰의 계산 결과가 저장된다. 이를 KV 캐시(Key-Value Cache)라고 부른다. 

KV 캐시는 각 토큰의 의미 정보를 담은 조각(벡터)를 저장하는 구조로 모델이 긴 문맥을 이해하는 데 핵심적인 역할을 한다.

문제는 이 캐시가 문장이 길어질수록 급격히 커진다는 점이다. 최근 대형 언어 모델들은 수십만 개에서 많게는 백만 개에 가까운 토큰을 한 번에 처리할 수 있는 긴 문맥 기능을 지원한다. 토큰은 AI가 텍스트를 이해할 때 사용하는 최소 단위다. 토큰 수가 늘어날수록 KV 캐시에 저장되는 벡터도 그대로 늘어나며 메모리 사용량이 빠르게 증가한다.

AI 서비스 기업들이 긴 문서 분석이나 장시간 대화 기능을 강화하면서 이 문제는 더욱 중요해졌다. 대형 언어 모델은 수많은 GPU 서버에서 실행되는데 KV 캐시가 커질수록 GPU 메모리 사용량이 증가하고 이는 곧 서버 비용 상승으로 이어진다.

MIT 연구진은 기존 접근 방식이 토큰을 직접 줄이거나 오래된 정보를 삭제하는 방식이어서 정확도가 쉽게 떨어지는 문제가 있었다고 설명했다. 이에 연구진은 KV 캐시 자체를 보존하는 대신 모델이 실제로 사용하는 계산 결과를 기준으로 메모리를 압축하는 방법을 제안했다.

대형 언어 모델에서 중요한 것은 KV 캐시 그 자체가 아니라 이를 활용해 계산되는 ‘어텐션(attention)’ 결과다. 어텐션은 모델이 다음 단어를 예측할 때 이전 문장 중 어떤 부분에 주목해야 하는지를 계산하는 과정이다. 

연구진은 이 어텐션 계산 결과가 동일하게 나오도록 KV 캐시를 재구성하면 메모리를 크게 줄일 수 있다고 판단했다.

어텐션 매칭 알고리즘은 원래 KV 캐시를 그대로 저장하는 대신 미래 토큰이 사용할 어텐션 패턴을 기준으로 새로운 KV 세트를 계산한다. 모델이 실제로 참고하는 정보 구조를 유지하면서 불필요한 벡터를 제거하는 방식이다.

연구진은 먼저 모델이 생성할 가능성이 높은 여러 질의 형태를 만들어 기존 KV 캐시에 대해 어텐션 계산을 수행한다. 이후 이 어텐션 결과를 최대한 그대로 재현할 수 있도록 더 작은 KV 벡터 집합을 수학적으로 계산한다. 이 과정은 선형대수 기반 계산으로 수행되며 추가 학습 과정 없이 적용할 수 있다.

결과적으로 압축된 KV 캐시는 원래보다 훨씬 적은 수의 벡터만 저장하지만 모델이 계산하는 어텐션 결과는 거의 동일하게 유지된다. 연구진은 실험에서 긴 문서를 처리하는 환경에서 KV 캐시 메모리를 최대 50배까지 줄일 수 있었다고 밝혔다. 정확도 역시 기존 모델과 거의 동일한 수준을 유지했다.

연구진은 대형 언어 모델의 어텐션 구조가 실제로는 매우 희소한 형태를 보인다는 점이 이러한 압축을 가능하게 만든다고 설명했다. 대부분의 토큰은 다음 단어를 계산할 때 거의 영향을 주지 않으며 일부 핵심 토큰만 높은 어텐션 가중치를 받는다. 

어텐션 매칭은 이러한 특성을 활용해 실제 계산 결과를 유지하면서 캐시를 대폭 줄이는 방식이다.

이 기술이 주목받는 이유는 AI 인프라 비용과 직접적으로 연결되기 때문이다. 현재 대형 언어 모델을 운영할 때 발생하는 비용 가운데 상당 부분이 메모리 사용량과 관련된 GPU 인프라 비용에서 발생한다. KV 캐시가 줄어들면 동일한 GPU 서버에서 더 많은 요청을 처리할 수 있고 긴 문맥을 사용하는 서비스도 보다 낮은 비용으로 운영할 수 있다.

특히 장문의 문서 분석, 코드 생성, 장시간 대화 서비스처럼 긴 문맥을 사용하는 AI 서비스에서 효과가 클 것으로 예상된다. KV 캐시가 작아지면 GPU 메모리 여유가 늘어나면서 처리 속도와 동시 요청 처리 능력도 개선될 수 있다.

연구진은 이 방식이 기존 대형 언어 모델 구조와 호환된다는 점도 강조했다. 모델 아키텍처를 새로 설계할 필요 없이 현재 사용되는 언어 모델에도 적용할 수 있다는 설명이다.