말하는 AI 말고 고르는 AI…'결정 모델'은 무엇인가

미국 스타트업 무수비(Musubi)가 6일(현지시간) 콘텐츠 검열용 AI 모델 'PolicyLM-1.7B'를 공개했다. 플랫폼 운영자가 일상 언어로 쓴 운영 정책을 읽고 채팅 메시지가 정책 위반인지 판정하는 모델이다. 

짧은 메시지 하나를 판정하는 데 걸리는 시간은 중간값 기준 0.035초다. 무수비는 모델 가중치(AI가 학습으로 얻은 수치 묶음)를 누구나 내려받아 쓸 수 있게 공개하고 이 모델을 최근 AI 업계에서 주목받는 '결정 모델'의 일종으로 소개했다.

결정 모델은 문장을 만들지 않고 미리 정해진 선택지 가운데 답을 고르는 AI다. 챗GPT 같은 대규모언어모델(LLM)은 단어를 하나씩 이어 붙이며 문장을 생성한다. 결정 모델은 입력 내용과 질문을 한 번에 읽은 뒤 선택지마다 해당할 확률을 계산해 돌려준다. 

고객 문의 메일을 넣고 '긴급한가' '어느 부서가 맡아야 하는가' '피해 정도는 어느 수준인가'를 물으면 '긴급 94%' '기술팀 88%'처럼 답과 확률이 함께 나온다. 질문 형식은 참·거짓을 묻는 유형과 보기 중 하나를 고르는 유형 그리고 척도 위에 점수를 매기는 유형 세 가지로 굳어지고 있다.

상당수 결정 모델은 기존 LLM을 고쳐 만든다. 공개된 LLM에서 글자를 생성하는 마지막 부분을 떼어내고 선택지마다 점수를 매기는 작은 장치를 붙이는 방식이다. 

아마존웹서비스(AWS) 모델의 경우 이 장치에 들어간 매개변수(학습으로 조정되는 수치)는 약 100만 개다. 글을 쓰지 않으니 응답이 빠르고 비용이 낮다. 답이 반드시 보기 안에서 나오기 때문에 프로그램이 결과를 받아 곧바로 다음 작업으로 넘길 수 있다.

핵심은 확률의 정확성이다. 모델이 90% 확신한다고 답한 사례가 실제로 열에 아홉은 맞아야 '90% 이상이면 자동 처리하고 그 아래는 사람에게 넘긴다'는 규칙을 세울 수 있다. 이 성질을 보정(calibration)이라 부른다. 개발사들은 모델의 확신 정도와 실제 정답률의 차이를 줄이는 방향으로 추가 학습을 진행한다.

결정 모델 바람은 지난달 15일 미국 스타트업 타입세이프AI가 내놓은 '제브(Jev)'에서 시작됐다. 창업자 디오고 알메이다는 오픈AI에서 챗GPT 개발에 참여하고 사람의 평가를 바탕으로 AI를 훈련하는 기법(RLHF)을 공동 개발한 연구자다. 

타입세이프는 제브가 판단 작업에서 기존 LLM과 비슷한 수준을 내면서 속도와 효율은 약 100배 높다고 밝혔다. 이용료는 입력 100만 토큰(AI가 글을 처리하는 단위)당 0.042달러이고 출력에는 요금을 받지 않는다. 

모델 이름은 자원 가격이 떨어지면 사용량이 오히려 늘어난다는 '제번스의 역설'을 제시한 19세기 경제학자 윌리엄 스탠리 제번스에서 따왔다.

대형 기업도 잇따라 뛰어들었다. 오픈AI는 지난달 29일 개발자 행사에서 경량 모델 '루나' 기반의 '디시전스(Decisions) API'를 발표했다. 텍스트나 이미지를 받아 사용자가 정한 보기 가운데 답을 고르는 방식이다. 이달 6일 기준 일부 고객 대상 시험 공개 단계로 가격과 상세 문서는 나오지 않았다. 

클라우드플레어는 이달 1일 270억 매개변수 규모의 '클레프(Clef)'와 경량판 '클레프-플래시'를 무료 공개했다. 이미지 판정이 가능하고 한 번에 읽을 수 있는 분량은 제브의 두 배다. 

AWS는 같은 날 노트북에서도 돌아가는 20억 매개변수 규모의 '스트랜즈 디사이더 2B'를 학습 데이터와 함께 공개했다. AWS 엔지니어 마크 브루커가 제브를 보고 개인적으로 만든 모델이 출발점이다. 커뮤니티가 운영하는 결정 모델 순위표에는 제브 출시 2주 만인 지난달 28일 70개 공개 모델이 올랐다.

쓰임새로는 고객 문의 분류와 AI 에이전트(사람 대신 여러 단계 작업을 스스로 수행하는 AI) 감시 그리고 콘텐츠 검열이 꼽힌다. 웹 개발 플랫폼 버셀은 명령어 안전성 검사에 쓰던 오픈AI 모델을 제브로 바꾼 뒤 처리 속도가 5~18배 빨라지고 정확도도 올랐다고 밝혔다. 

한 해커톤 시연에서는 같은 규모의 에이전트 감시 비용이 최고 성능 LLM으로 372달러 제브로 2.94달러로 계산됐다. PolicyLM도 같은 흐름에 있다. 기존 검열용 분류기는 학습 때 정한 범주만 판단해 정책이 바뀔 때마다 데이터를 새로 모아 재학습해야 했다. PolicyLM은 메시지를 볼 때마다 정책 문서를 함께 읽어 정책 수정이 즉시 반영된다. 

무수비에 따르면 이 모델을 고객사에 맞게 조정한 버전이 하루 100만 건 넘는 메시지를 처리하는 플랫폼에서 이미 쓰이고 있다.

한계도 지적된다. 정확도만 보면 단계적으로 추론하는 대형 LLM이 여전히 앞선다. AWS는 자사 모델이 복잡한 문제 풀이에 약하고 글쓰기나 요약에는 쓸 수 없다고 명시했다. 확률이 늘 믿을 만한 것도 아니다. 

주사위 결과처럼 예측이 불가능한 질문에 특정 숫자를 80% 확신한다고 답하거나 이메일 본문에 '정상 메일'이라는 문구가 있다는 이유로 판정을 뒤집은 사례가 개발자 커뮤니티에서 보고됐다. 타입세이프도 현재 가격이 보조금 없이 유지 가능한 수준인지는 입증할 수 없다고 밝혔다.