닫힌 모델의 반작용에서 시작된 실험, 오픈소스 LLM

생성형 AI가 일상 깊숙이 들어오면서 사람들이 꾸준히 묻는 질문이 있다. “이 AI는 누가 통제하고 있는가”다. 우리가 쓰는 챗GPT나 제미나이 같은 서비스는 매우 똑똑하지만 내부가 어떻게 돌아가는지는 알기 어렵다. 

이와 반대편에 있는 개념이 바로 오픈소스 AI 모델이다. 오픈소스 모델은 인공지능의 설계도와 핵심 부품을 공개한 모델을 뜻한다. 여기서 핵심은 코드만 공개하는 것이 아니라 AI의 기억과 판단을 담당하는 가중치까지 함께 공개된다는 점이다. 이 덕분에 누구나 모델을 내려받아 직접 실행하고 수정하고 목적에 맞게 바꿔 쓸 수 있다.

오픈소스 모델이 중요한 이유는 투명성이다. 상용 AI는 결과만 보여주고 과정은 감춘다. 반면 오픈소스 모델은 어떻게 학습됐고 어떤 구조로 작동하는지 확인할 수 있다. 기업이나 기관 입장에서는 내부 문서나 민감한 데이터를 외부 서버로 보내지 않아도 된다는 장점도 있다. 

모든 처리를 자체 서버나 개인 컴퓨터에서 할 수 있기 때문이다. 이 점 때문에 금융, 공공, 의료 분야에서는 오픈소스 모델에 대한 관심이 빠르게 커지고 있다.

왜 이런 변화가 생겼을까. 그리고 오픈소스 모델 시장이 커질 수 있었던 이유는 무엇일까? 생성형 AI 초창기인 2018~2020년 무렵만 해도 언어 모델은 주로 학계의 연구 대상이었다. BERT, GPT-2 같은 모델은 논문과 함께 구조와 가중치가 공개됐고 누구나 재현 실험을 할 수 있었다. 

그러나 GPT-3가 등장하면서 분위기가 달라졌다. 모델 크기와 학습 비용이 급격히 커졌고 이후 GPT-4에 이르러서는 가중치와 학습 데이터가 완전히 비공개가 됐다. 성능은 뛰어났지만 AI는 더 이상 연구자들이 들여다볼 수 있는 대상이 아니라 거대 기업이 최고 수준으로 기밀을 지켜야 하는 서비스가 됐다.

이 지점에서 문제가 발생했다. 모델이 왜 그런 답을 내놓는지 설명하기 어려워졌고 특정 국가나 기업이 AI 기술의 방향을 독점한다는 우려가 커졌다. 특히 연구자 입장에서는 최신 기술을 검증하거나 개선할 방법이 사라졌다. 오픈소스 LLM은 이 공백을 메우기 위해 등장했다. 

“같은 구조를 우리가 다시 만들 수는 없을까”라는 질문에서 출발한 시도였다.

결정적인 전환점은 메타의 선택이었다. 메타는 GPT 계열과 달리 대형 언어 모델을 생태계 확산의 도구로 보았다. 내부 연구용으로 개발한 LLaMA 모델의 가중치를 공개하면서 누구나 대형 언어 모델을 직접 실행하고 분석할 수 있는 길을 열었다. 

메타는 AI 서비스 자체보다는 플랫폼과 인프라를 장악하는 기업이고 오픈소스 생태계가 커질수록 자사 하드웨어와 프레임워크가 표준이 될 가능성이 높아진다. 그래서 메타의 선택은 상당히 전략적이라고 볼 수 있다.

기술적으로 보면 오픈소스 LLM은 상용 모델과 같은 뿌리를 공유한다. 트랜스포머 구조, 토큰 기반 입력, 어텐션 메커니즘은 동일하다. 차이는 학습 과정과 공개 범위다. 상용 모델은 막대한 비공개 데이터와 강화학습을 거쳐 완성되지만, 오픈소스 모델은 공개 데이터와 커뮤니티 검증을 전제로 한다. 

이 때문에 성능 격차가 존재했지만 연구자들은 다른 방식으로 이를 보완했다. 파라미터 수를 줄이는 대신 학습 품질을 높이고 특정 작업에 특화된 파인튜닝을 반복하는 방식이다.

오픈소스 모델이 빠르게 발전할 수 있었던 이유도 여기에 있다. 하나의 모델이 수백 개의 변형 모델로 분화된다. 어떤 모델은 수학에 강하고, 어떤 모델은 코드에 특화되며, 어떤 모델은 특정 언어에 집중한다. 성능 경쟁의 기준도 달라졌다. “가장 똑똑한 AI”가 아니라 “특정 상황에서 가장 잘 맞는 AI”가 중요해졌다.

최근 오픈소스 LLM의 기술적 진화에서 눈에 띄는 부분은 두 가지다. 하나는 컨텍스트 윈도우의 확장이다. 과거에는 긴 문서를 처리하기 어려웠지만 이제는 수십만 토큰을 다루는 오픈소스 모델도 등장했다. 

이는 효율적인 메모리 관리 기법 덕분이다. 다른 하나는 효율성이다. 일부 연구는 파라미터를 극단적으로 줄이거나 계산을 단순화해도 언어 이해 능력을 유지할 수 있음을 보여준다. “더 큰 모델만이 답”이라는 흐름에 대한 기술적 반론이 나오고 있는 것이다.

오픈소스 모델의 확산은 AI를 몇몇 기업의 전유물로 두지 않겠다는 흐름과 맞닿아 있다. 한편 기술을 공개하고 누구나 개선에 참여하게 만드는 방식은 인터넷과 리눅스가 성장해 온 경로와 비슷하다.

앞으로 AI를 이해한다는 것은 성능 이야기를 넘어서 해당 AI를 누가 통제하고 어디까지 열려 있는지를 함께 보는 일이 될 것이다. 열린 AI는 더 느릴 수 있지만 그만큼 방향을 스스로 정할 수 있는 자유를 사용자에게 돌려주고 있다.