GPT와 BERT의 원리는 어떻게 다를까?

오늘날의 인공지능을 움직이는 핵심 엔진은 대부분 ‘트랜스포머(Transformer)’다. 지금의 챗GPT도 이 구조 위에서 만들어졌고 구글이 검색 품질을 끌어올릴 때도 트랜스포머가 중심에 있었다. 그런데 이 기술이 처음 등장했을 때 연구자들은 하나의 구조를 두 가지 방향으로 나눠 사용하기 시작했다. 

그것이 바로 오픈AI의 GPT 계열과 구글의 BERT 계열이다. 두 모델은 같은 뿌리에서 출발했지만 서로 정반대의 문제를 해결하기 위해 다른 방법을 선택했다. 그 차이를 이해하면 오늘의 AI가 왜 지금과 같은 모습이 되었는지 더 이해하기 쉽다.

트랜스포머가 처음 발표됐을 때 연구진은 번역이라는 문제를 염두에 두고 구조를 설계했다. 번역은 입력 언어와 출력 언어가 서로 다르기 때문에 들어오는 문장을 정확히 이해하는 과정과 새로운 문장을 만들어내는 과정이 모두 필요하다. 이 역할을 나눠 맡은 것이 인코더와 디코더다.

○ 인코더(Encoder): 들어오는 문장을 하나하나 분석하기

○ 디코더(Decoder): 이렇게 정리된 의미를 받아서 새로운 문장을 만들기 

인코더는 입력 문장을 분석하는 단계다. 문장을 단어 단위로 쪼개 모든 단어가 서로 어떤 관계를 맺는지를 계산해 문장 전체의 의미 구조를 정리한다. 예를 들어 “나는 사과를 먹었다”라는 문장이 들어오면 인코더는 ‘나는’이 주어이고 ‘먹었다’는 동작이고 ‘사과’가 그 동작의 대상이라는 정보를 파악해 압축된 형태로 전달한다. 

디코더는 이 정리된 정보를 받아 새로운 문장을 만들어내는 단계다. 같은 문장을 영어로 번역해야 한다면 디코더는 인코더가 정리해둔 의미를 기반으로 “I ate an apple”을 생성한다. 즉 인코더는 ‘이해’, 디코더는 ‘표현’이라는 역할을 맡는다.

트랜스포머는 이 두 구조를 함께 사용해 원래 목적이었던 번역 문제를 뛰어난 성능으로 해결했다. 하지만 이후 연구자들은 모든 작업에 두 구조가 다 필요하지는 않다는 사실을 깨달았다. 

어떤 작업은 문장을 만드는 데 집중하고 다른 작업은 문장을 깊이 이해하는 데 초점이 맞춰져 있었기 때문이다. 여기서부터 GPT와 BERT는 서로 다른 길을 걷기 시작한다.

구글이 먼저 선택한 것은 ‘인코더만 남기는 길’이었다. 구글은 검색 엔진을 운영하면서 사용자 질문의 의미를 더 정확히 파악할 필요가 있었다. 질문 문장이 무슨 뜻인지 이해하고 문장 안의 관계를 파악해야 검색 결과의 정확도가 올라간다. 

이 때 결정적인 역할을 하는 것이 인코더다. 인코더는 문장의 의미를 세밀하게 분석하는 데 특화되어 있다. 구글은 이 능력을 극대화해 BERT라는 모델을 만들었다. BERT는 문장 속 특정 단어를 가려두고 나머지 단어를 보고 그 빈칸에 들어갈 단어를 예측하도록 학습한다. 이 과정은 문장을 있는 그대로 정확하게 파악해야만 가능하다. 

덕분에 BERT는 문장 분석, 감정 분석, 문서 분류 같은 “이해 중심 업무”에서 압도적인 성능을 보여주며 여러 산업으로 퍼져 나갔다.

오픈AI는 정반대의 방향을 택했다. 오픈AI는 ‘사람처럼 자연스러운 문장을 만들어내는 모델’에 집중했다. 대화가 가능하고 보고서 초안을 쓰고 창의적인 문장을 뽑아낼 수 있는 모델을 만들고 싶었던 것이다. 이 목적에는 디코더가 핵심 역할을 한다. 

디코더는 지금까지의 문맥을 보고 다음에 나올 말을 이어가는 능력이 뛰어나다. 인코더처럼 입력을 깊이 분석하기보다 “무엇을 어떻게 이어 말해야 자연스러운가”를 학습하는 데 더 적합하다. 그래서 GPT는 트랜스포머 구조에서 디코더만 남기고 나머지는 과감히 덜어냈다. 

GPT는 앞선 단어들을 바탕으로 다음 단어를 이어가는 훈련을 수천억 단어 단위에서 반복하며 사람이 쓴 것 같은 문장을 만들어내는 능력을 갖추게 됐다. 이후 GPT-2와 GPT-3를 거치면서 모델 크기가 커지고 학습량이 늘어나자 요약, 번역, 글쓰기, 질의응답까지 하나의 모델로 처리하는 시대가 열렸다.

결국 BERT와 GPT는 같은 기술에서 출발했지만 서로 다른 목적을 향해 구조를 선택했다. 문장을 깊이 이해하는 데 특화된 BERT는 인코더 하나로도 충분했고 문장을 자연스럽게 생성하는 데 초점을 둔 GPT는 디코더 하나만으로도 성과를 낼 수 있었던 것이다.

지금의 대형 언어 모델이 GPT 계열 구조를 따라가는 이유도 여기에 있다. 생성 능력이 산업 전반에서 활용도가 높아졌기 때문이다. 그러나 검색, 문서 분류, 의미 분석 등 이해 중심의 업무에서는 여전히 BERT 계열 모델이 중요한 역할을 맡고 있다.

AI 생태계에서 BERT와 GPT는 마치 서로 다른 DNA를 지닌 형제와 같다. 하나는 ‘이해’를 정교하게 파고들었고 다른 하나는 ‘표현’을 확장하며 새로운 길을 열었다. 

두 모델의 서로 다른 선택은 지금의 AI 기술 지형을 형성한 결정적 분기점이다. AI가 어디로 더 발전할지는 알 수 없지만 언어를 이해하는 길과 언어를 만드는 길은 앞으로도 함께 이어질 것이다.