맥미니로 AI 돌리기, 어디까지 되고 얼마 들까? "16GB로는 부족"

챗GPT 같은 AI를 인터넷 서버가 아니라 자기 맥(Mac)에서 직접 돌리려는 사람이 늘고 있다. 이렇게 외부 서버를 거치지 않고 기기 안에서만 작동하는 AI를 '로컬 LLM'이라고 부른다. 

특히 맥미니처럼 작고 조용한 데스크톱으로 상시 켜두는 AI 서버를 꾸리려는 관심이 크다. 신형 맥미니와 맥스튜디오를 기준으로 무엇이 가능하고 비용은 얼마나 드는지 정리했다. 핵심은 하나로 압축된다. 

AI가 얼마나 큰 모델을 얼마나 빠르게 돌릴 수 있는지는 CPU 속도가 아니라 '메모리'가 결정한다. 애플 실리콘 맥은 CPU와 그래픽이 하나의 메모리를 공유하는 통합 메모리(유니파이드 메모리) 구조여서 이 메모리 용량이 곧 돌릴 수 있는 AI 모델의 크기 상한이 된다. 

AI 모델은 이 메모리 안에 통째로 들어가야 하며 혹시라도 메모리가 감당할 수 있는 양을 넘어가면 속도가 급격히 무너진다. 대략 모델 파일 용량의 1.5배 정도 메모리가 있어야 여유 있게 돌아간다고 볼 수 있다.

또 하나의 변수는 메모리 대역폭이다. AI가 글자(토큰)를 하나 만들 때마다 모델 전체를 메모리에서 한 번씩 읽어야 하기 때문에 데이터가 오가는 통로가 넓을수록 답변 생성 속도가 빨라진다. 애플 실리콘이 로컬 AI에 강한 이유가 여기 있다. 

속도는 초당 토큰 수로 재는데 사람이 글을 읽는 속도가 초당 4~7토큰이고 30토큰을 넘으면 답이 실시간으로 출력되어 나오는 느낌을 준다.

문제는 신형 맥미니의 기본형이다. 899달러부터 시작하는 M6 맥미니는 메모리가 16GB에서 출발하는데 이 용량으로는 8~9B(80~90억 매개변수)급의 작은 모델까지만 편하게 돌아간다.

브라우저와 화상회의만 함께 켜도 16GB는 이미 빠듯한 수준이라서 로컬 AI가 주목적이라면 32GB 이상으로 올려야 한다. M6 맥미니의 메모리 대역폭은 초당 170GB로, 작은 모델용이다.

로컬 AI가 주목적이라면 여러 매체가 공통으로 M5 프로(Pro) 맥미니를 지목한다. 1699달러부터 시작하며 메모리를 최대 64GB까지, 대역폭은 M6의 두 배 가까운 초당 307GB까지 지원한다. 로컬 추론에서는 CPU 속도보다 이 대역폭과 메모리 용량이 훨씬 중요하다. 

64GB를 채우면 라마(Llama) 4 스카우트나 70B급 모델을 압축 형태로 돌릴 수 있고 27B급 모델은 여유 있게 작동한다.

실제 속도는 매개변수가 200억 규모인 큐원(Qwen) 3.6-27B 모델 기준으로 M5 맥스(Max) 칩에서 초당 약 30토큰이 나온다. 여기서 압축 방식이 등장한다. AI 모델은 원본 그대로 쓰면 용량이 너무 커서, 정밀도를 약간 낮춰 파일을 줄이는 '양자화(퀀타이제이션)'를 거친다. 

2026년 현재 표준은 4비트 압축(Q4)으로 원본 대비 품질 저하가 1~3% 수준에 그쳐 대부분의 작업에서 차이를 느끼기 어렵다. 반면 3비트 이하로 더 줄이면 성능 손실이 뚜렷해진다.

더 큰 모델을 원하면 맥스튜디오로 올라간다. M5 맥스 맥스튜디오는 2500달러부터이며 메모리 최대 128GB, 대역폭 초당 614GB로 70B급 모델을 로컬에서 돌리기에 가장 균형이 좋은 선택으로 꼽힌다. 

512GB 메모리와 초당 1.2TB 대역폭을 갖춘 M5 울트라(Ultra) 맥스튜디오는 5500달러부터 시작하며 수천억 매개변수급 모델까지 통째로 올릴 수 있지만 512GB 구성은 10월 말에야 출고된다.

값이 이렇게 오른 배경에는 2026년 메모리 대란이 있다. 삼성·SK하이닉스·마이크론 같은 제조사가 생산 능력을 AI 데이터센터용 고성능 메모리에 집중하면서 일반 메모리 공급이 부족해졌고 애플은 부품값 상승을 이유로 지난 6월 맥미니 시작가를 599달러에서 799달러로 올린 데 이어 신형에서 899달러로 다시 인상했다. 512GB 맥스튜디오 구성이 한동안 사라졌던 것도 같은 이유다.

무엇을 사야 하느냐에 대한 실용적 답은 이렇다. 이미 16GB 이상 맥이 있다면 새로 사지 말고 '올라마(Ollama)'나 'LM스튜디오' 같은 무료 프로그램으로 작은 모델부터 공짜로 시작하는 편이 낫다. 맥미니로 로컬 AI를 본격적으로 돌릴 계획이라면 기본형 M6가 아니라 32GB 이상 M6, 또는 48~64GB M5 프로가 최소선이다. 

다만 냉정하게 보면 7~13B급 작은 모델의 순수 속도만 따지면 비슷한 값의 엔비디아 그래픽카드가 맥보다 빠르다. 맥의 이점은 큰 모델을 조용하고 적은 전력으로 통째로 올릴 수 있다는 점이며 이 이점은 모델이 커질수록 커진다. 무료 모델로는 알리바바의 큐원3 계열이 무난한 기본값으로 꼽힌다.