바이두 ‘ERNIE’, GPT·제미니 앞서는 멀티모달 AI로 부상

중국 바이두가 새 멀티모달 인공지능(AI) 모델 ‘ERNIE-4.5-VL-28B-A3B-Thinking’을 공개하며 글로벌 AI 경쟁에 다시 불을 지폈다. GPT나 구글 제미니 같은 거대 모델과 맞붙는 구도 속에서 이 모델이 여러 시험에서 앞서는 결과가 나오자 업계의 시선이 빠르게 쏠리고 있다. 

특히 이번 모델은 텍스트보다 이미지·영상·도면처럼 기업 내부에 쌓여 있지만 활용하기 어려운 데이터들을 정확히 읽고 분석하는 데 초점을 맞췄다는 점에서 실무 활용성이 더 크게 부각되고 있다.

이번 ERNIE 모델의 특징은 “큰 모델이지만 가볍게 굴러간다”는 점이다. 전체 모델 규모는 크지만 실제로 작업할 때는 필요한 부분만 켜지는 방식이라 기업 입장에서 부담이 훨씬 적다. 복잡한 명령을 처리하면서도 계산 비용을 줄일 수 있어 AI를 도입하고 싶어도 비용 부담 때문에 못 쓰던 기업을 노린 전략이라는 분석이 나온다. 

바이두가 이 모델을 Apache 2.0 라이선스로 공개한 것도 기업들이 상업적으로 편하게 사용할 수 있도록 길을 열어둔 조치다.

성능 역시 일정 부분 증명됐다. 이미지·그래프·도표·수학 문제를 섞어 다양한 능력을 평가하는 시험(MathVista·ChartQA 등)에서 ERNIE는 경쟁 모델인 GPT와 제미니를 제치거나 비슷한 수준을 기록했다. 

특히 차트 읽기나 시각 정보 이해 분야에서는 더 높은 점수를 받았다. 물론 모든 분야를 압도했다고 할 수는 없지만 “텍스트보다 시각 기반 작업에 강하다”는 흐름은 비교에서 뚜렷하게 나타난다. 전문가들은 “이런 종류의 문제는 실제 기업 데이터와 더 닮아 있다는 점에서 의미 있는 결과”라고 평가하고 있다.

기능 시연 내용도 흥미롭다. ERNIE는 사진 속 작은 글자를 읽기 위해 스스로 이미지를 확대하고 모르는 물건이 등장하면 이미지 검색을 호출해 정체를 확인하는 방식으로 움직인다. ‘보여주는 대로 대답하는 AI’가 아니라 필요에 따라 도구를 쓰고 단계를 나눠 분석하는 방식이다. 

어떤 사진에서 ‘정장을 입은 사람들만 골라 위치를 JSON 형식으로 달라’고 하면 그 좌표까지 정확하게 뽑아주는 식이다. 이런 기능은 공장에서 불량품을 찾거나 건설 현장에서 안전모 미착용자를 자동으로 감지하는 작업과 바로 연결될 수 있다.

기업들이 쌓아두고도 활용하지 못한 영상 자료를 처리하는 능력도 강화됐다. 예를 들어 2시간짜리 교육 영상에서 자막을 통째로 추출하거나 “다리가 보이는 장면만 찾아줘”라고 하면 해당 장면을 정확히 찾아낸다. 

회의 영상이나 보안 영상처럼 사람이 꼼꼼히 보지 않는 자료도 검색 가능한 형태로 바꿔주는 셈이다. 기업들이 내부 영상을 AI 학습 자료로 쓰지 못했던 문제를 해결할 수 있다는 기대가 나온다.

하지만 제약도 분명하다. 이 모델을 단일 GPU에서 돌리려면 최소 80GB 메모리를 요구한다. AI 연구용 개인 PC나 가벼운 사무용 장비로는 돌릴 수 없으며 이미 고성능 서버나 클라우드 인프라를 갖춘 기업이 주 타깃임을 보여준다. 

바이두가 배포 방식은 여러 경로로 제공하고 있지만 하드웨어 문턱이 높다는 점은 여전히 해결해야 할 과제로 남는다.

업계에서는 이번 모델의 핵심을 “기업 내부의 비정형 데이터 처리”에서 찾고 있다. 제조 공장의 회로도, 물류센터의 운영 화면, 병원의 영상 자료, 보안 CCTV 등은 대부분 텍스트 형태가 아니라 사람이 직접 해석해야 하는 정보다. 

그동안 AI모델은 이런 데이터에 취약했지만 ERNIE는 이 영역을 공략하고 있다. 바이두가 “멀티모달 에이전트”라는 표현을 내세우며 분석에서 더 나아가 문제 파악과 도구 실행까지 이어지는 자동화에 집중하는 것도 이런 배경 때문이다.

중국 AI 생태계 흐름에서도 의미가 있다. 바이두는 ERNIE 4.5 시리즈를 오픈소스로 공개하며 폐쇄성 논란을 의식한 듯 개방 정책을 강화하고 있다. 글로벌 AI 시장이 텍스트 중심 모델에서 이미지·영상·문서까지 폭넓게 다루는 멀티모달 모델 경쟁으로 넘어가는 상황에서 중국 역시 기술 흐름을 좇고 있다는 평가가 나온다.

궁극적으로 ERNIE의 진가는 기업 현장에서 드러날 전망이다. 벤치마크 성적은 참고자료에 불과하고 실제로는 물류 오류를 줄이거나 제조 라인의 결함을 자동으로 잡아내는 등 뚜렷한 개선 효과가 나와야 가치가 입증된다. 

ERNIE는 기술적으로 충분한 가능성을 보여줄 수 있지만 이를 활용할지 여부는 각 기업의 데이터 환경, 인프라 능력, 투자 여건에 따라 달라질 것으로 보인다. 기업용 멀티모달 AI 경쟁은 이제 막 본격적으로 시작된 셈이다.