출력의 한계를 극복하다...노이즈에서 시작해 문장을 '한 번에' 빚는 확산 AI

챗GPT나 클로드 같은 대부분의 AI 언어 모델은 글자를 하나씩 순서대로 써 내려간다. 앞에 나온 단어들을 보고 그 다음에 올 단어 하나를 예측하고, 다시 그 결과를 보고 또 다음 단어를 예측하는 식이다. 

문장의 왼쪽에서 오른쪽으로 이어 붙이는 이 방식은 2019년 GPT-2 이후 사실상 모든 언어 모델의 표준이었다. 최근 이 순서를 통째로 뒤엎는 방식이 등장했다. 문장 전체를 한꺼번에 흐릿하게 깔아놓고 반복해서 다듬어 완성하는 확산(diffusion) 언어 모델이다.

확산이라는 개념은 원래 이미지 생성에서 나왔다. 무작위 잡음(노이즈) 상태에서 출발해 조금씩 잡음을 걷어내며 그림을 선명하게 만드는 방식이다. 확산 언어 모델은 이 원리를 글자에 옮겼다. 

먼저 아무 의미 없는 자리표시 토큰들을 한 뭉치 깔아놓는다. 토큰은 AI가 글을 처리하는 최소 단위로 단어나 단어 조각을 뜻한다. 이 흐릿한 초안을 여러 번에 걸쳐 다듬으면서 점점 뜻이 통하는 문장으로 바꿔나간다. 흐릿한 밑그림을 반복해서 선명하게 만드는 것과 같은 원리다.

가장 큰 차이는 여러 글자를 동시에 만들어낸다는 점이다. 순서대로 쓰는 방식은 앞 글자가 나와야 뒷 글자를 쓸 수 있어 한 번에 하나씩만 처리한다. 확산 방식은 한 번의 연산으로 여러 토큰을 한꺼번에 채운다. 

그만큼 속도가 빠르고 문맥을 참조하는 방향도 다르다. 순서대로 쓰는 모델은 이미 나온 앞부분만 보고 다음을 정하지만 확산 모델은 앞뒤를 동시에 보기 때문에 뒤에서 결정된 내용이 앞부분을 고치는 데 반영된다. 

코드를 짤 때 뒤에서 쓰이는 변수의 쓰임새가 앞선 정의에 영향을 주는 식이므로 프로그래밍이나 앞뒤 논리가 맞아야 하는 작업에 유리하다.

기술적으로는 마스킹 방식이 주로 쓰인다. 문장의 여러 자리를 가려놓고(마스킹) 그 빈칸을 한꺼번에 채워 복원하는 훈련을 반복하는 것이다. 이 방식의 학습 목표는 구글이 2018년 내놓은 언어 이해 모델 버트(BERT)가 문장 중간 단어를 가리고 맞히도록 배우던 방식과 사실상 같은 형태다. 

문장을 만들어내는 데는 적합하지 않다고 여겨졌던 버트 계열 구조가 생성 모델로 되살아난 셈이다.

시장에 처음 나온 상용 제품은 스타트업 인셉션랩스가 2026년 2월 공개한 머큐리(Mercury)다. 최초의 상용 확산 추론 모델로 엔비디아 H100 그래픽처리장치(GPU) 한 대에서 초당 1000토큰 이상을 생성했다. 다만 이는 이용자가 직접 받아 쓸 수 없는 폐쇄형 서비스였다.

기술이 널리 알려진 계기는 구글 딥마인드가 2026년 6월 10일 공개한 디퓨전젬마(DiffusionGemma)다. 대형 연구소가 내놓은 첫 개방형 텍스트 확산 모델로 누구나 내려받아 상업적으로 쓸 수 있는 아파치 2.0 라이선스로 배포됐다. 

작동 방식은 256개의 토큰을 노이즈 상태로 깔아놓고 병렬로 다듬어 나가면서 한 번의 연산마다 15~20개씩 확정하는 식이다. 성능은 H100 한 대에서 초당 1000토큰을 넘었다. 구글이 공개한 자료에서 같은 크기의 순차 생성 모델인 젬마4가 초당 303토큰인 반면 디퓨전젬마는 1107토큰으로 약 3.7배 빨랐다. 

전체 규모는 260억 개 연결 구조(파라미터)지만 실제 연산에는 38억 개만 동원하기 때문에 소비자용 그래픽카드 RTX 5090이나 4090에 얹어 돌릴 수 있다.

한계도 분명하다. 구글은 디퓨전젬마의 출력 품질이 순차 생성 모델인 젬마4보다 낮다고 밝혔다. 수학 경시대회 문제나 복잡한 코딩처럼 한 단계만 틀려도 결과가 무너지는 작업에서 특히 차이가 컸다. 한 번에 기억할 수 있는 문맥의 길이도 8192토큰으로 짧은 편이다. 

속도 이점도 조건을 탄다. 여러 요청을 한꺼번에 몰아 처리하는 상황에서는 순차 생성 모델도 연산 자원을 꽉 채워 쓰기 때문에 확산 방식의 우위가 줄거나 뒤집힌다. 출력이 짧을 때는 오히려 순차 생성이 더 빠를 수 있다.

이 때문에 확산 모델은 품질보다 속도가 중요한 작업에 주로 쓰인다. 문장을 즉석에서 고쳐주는 편집 기능, 커서를 두고 기다리는 자동완성, 정해진 틀을 채우는 구조화 생성, 실시간 대화처럼 지연이 곧 체감 성능이 되는 영역이다. 구글은 제미나이 디퓨전이라는 확산 모델을 자사 내부 코드 완성 도구에 이미 쓰고 있다.