안경테 안으로 들어간 20억 파라미터 AI…메모리는 불과 0.43GB

미국 AI 스타트업 프리즘ML이 스마트 안경에서 클라우드 연결 없이 작동하는 시각·언어 AI 모델을 공개했다. 퀄컴이 23일(현지시간) 하와이 마우이에서 연 스냅드래곤 서밋에서 이 모델을 실제 안경에 올려 시연했다.

공개된 모델은 파라미터 20억개 규모의 '1비트 본사이'다. 파라미터는 인공지능이 학습 과정에서 축적한 수치 정보를 뜻하며 개수가 많을수록 성능이 높아지지만 저장 공간도 그만큼 커진다. 

프리즘ML은 이 수치를 소수점이 붙은 16비트 숫자 대신 플러스 1과 마이너스 1 두 가지 값으로만 저장하는 방식을 쓴다. 곱셈이 덧셈으로 바뀌면서 연산량과 전력 소모가 함께 줄어든다.

모델은 언어를 담당하는 17억 파라미터 부분과 카메라 영상을 해석하는 3억 파라미터 부분으로 나뉜다. 1비트가 적용된 쪽은 언어 부분이고 영상 해석부는 4비트를 쓴다. 이 구조 덕분에 언어 모델이 차지하는 용량은 0.43GB로 줄었다. 같은 크기의 경쟁 모델을 4비트로 압축했을 때의 1.66GB와 비교하면 약 3.8분의 1이다. 

초당 생성하는 글자 수는 15.36토큰으로 비교 대상의 7.44토큰보다 두 배 이상 빨랐다. 메모리 4GB를 탑재한 시험 기기에서 측정한 수치다.

프리즘ML은 같은 메모리 안에 네 배 많은 파라미터를 넣을 수 있게 됐다고 설명했다. 스마트 안경은 배터리와 발열 여유가 거의 없고 부품을 넣을 공간도 좁아 그동안 대부분의 연산을 스마트폰이나 외부 서버로 넘겨왔다. 용량이 줄면 안경 혼자 처리할 수 있는 작업의 범위가 넓어진다.

양사는 모델을 퀄컴의 AI 전용 연산장치인 헥사곤 NPU에 맞춰 함께 손봤다. 1비트 연산을 처리하는 별도 프로그램 경로를 만들어 칩에 직접 심는 작업이 핵심이었다. 이런 방식의 가중치는 그동안 PC나 스마트폰용 프로세서에서만 돌아갔다.

퀄컴에서 확장현실과 웨어러블 사업을 맡고 있는 지아드 아스가르 수석부사장은 개인용 인공지능이 자리잡으려면 연산이 사용자가 실제로 들고 다니는 기기 안에서 이뤄져야 한다고 말했다. 

그는 시각을 활용한 보조 기능이 기기 안에서 처리되면 응답이 빨라지고 개인정보도 밖으로 나가지 않는다고 설명했다. 퀄컴은 서밋에서 시각장애인이 안경에 사과 색깔을 묻는 장면을 비행기 모드 상태로 시연했다.

바박 하시비 프리즘ML 공동창업자 겸 최고경영자는 안경이 시각을 통해 방대한 상황 정보를 얻지만 이를 해석할 여력은 극도로 제한된 기기라는 점을 설계 출발점으로 삼았다고 밝혔다. 그는 모델과 반도체를 함께 설계하는 방식이 인공지능을 데이터센터에서 일상 기기로 옮기는 경로라고 덧붙였다.

이번 모델이 올라간 스냅드래곤 AR1 1세대는 메타의 레이밴 안경과 삼성전자가 올해 공개한 갤럭시 글래스에 쓰인 칩이다. 퀄컴은 AR1과 AR1 플러스를 여러 형태의 1비트 모델을 지원하는 첫 개인용 AI 플랫폼으로 내세웠다. 메모리 가격이 오르면서 제조사들이 안경에 넣는 D램을 4GB에서 2GB로 줄이는 흐름과도 맞물린다.

다만 한계도 분명하다. 이 모델이 한 번에 기억할 수 있는 분량은 1024토큰으로 짧은 질문과 눈앞의 장면 정도만 담긴다. 앞선 대화를 이어가거나 긴 문서를 읽는 용도로는 쓸 수 없다. 성능 수치와 벤치마크 결과는 모두 프리즘ML이 자체 측정한 값이며 외부 검증은 아직 이뤄지지 않았다. 

회사는 수학과 코드 작성 등 8개 시험에서 기존 4비트 모델과 비슷한 결과를 얻었다고만 밝혔고 항목별 점수는 공개하지 않았다. 이 모델을 탑재한 제품도 아직 발표되지 않았다.

프리즘ML은 캘리포니아공과대 연구진이 세운 회사다. 하시비 최고경영자는 이 학교 교수로 압축 이론을 연구해왔다. 데이터브릭스 공동창업자인 이온 스토이카 UC버클리 교수가 자문을 맡고 있다. 코슬라벤처스와 서버러스 캘리포니아공과대가 투자했고 삼성전자와 게이츠 프런티어도 지원한다. 

회사는 3월 80억 파라미터 모델을 1.15GB로 줄인 첫 본사이를 내놨고 7월에는 270억 파라미터 모델을 3.9GB로 압축해 스마트폰에서 구동했다. 모델은 누구나 내려받아 쓸 수 있는 아파치 2.0 라이선스로 공개돼 있다.