구글 딥마인드, 인간형 범용 에이전트 ‘시마2’ 공개

구글 딥마인드가 3D 가상 환경에서 인간 방식의 행동을 수행하는 차세대 범용 에이전트 ‘시마2(SIMA2)’를 공개했다. 시마2는 대형언어모델 제미나이 2.5 플래시 라이트를 기반 엔진으로 통합한 구조로 알려졌으며 시각 정보와 언어 입력을 동시에 처리하고 키보드와 마우스를 직접 조작하는 방식으로 게임 세계 안을 이동한다.

지난 3월 공개된 시마1이 명령 수행 중심의 모델이었다면 이번 버전은 복잡한 목표를 해석하고 환경을 분석하며 단계적 계획을 스스로 세우는 기능이 추가된 것으로 평가된다. 딥마인드는 시마2가 여러 게임 환경을 넘나들며 행동 기술을 일반화하도록 설계됐다고 설명했다.

딥마인드는 시마2가 인간이 화면을 보고 조작하는 것과 동일한 입력과 출력을 사용하도록 만들었다. 게임 엔진이나 API를 직접 불러오는 방식이 아니라 시각 이미지와 텍스트를 받아들인 뒤 키보드와 마우스 동작으로 행동을 출력하는 구조로 설계됐다는 의미다. 

회사는 이를 통해 시마2가 실제 로봇으로 확장될 때 정책 구조를 그대로 옮기기 쉬운 장점이 있다고 강조했다. 훈련에는 밸하임, 새티스팩토리, 고트 시뮬레이터 3, 노 맨즈 스카이, 스페이스 엔지니어스 등 다양한 3D 상용 게임 환경이 활용됐으며 딥마인드가 게임사들과 협력해 실제 게임 플레이 데이터를 수집했다.

시마2는 사용자 명령을 단순 실행하는 수준을 넘어 스스로 추론 과정을 언어로 설명하는 기능을 갖췄다고 한다. 예를 들어 ‘익은 토마토 색 집으로 이동하라’는 지시가 주어지면 익은 토마토를 빨간색으로 해석한 뒤 빨간색 건물을 찾는 과정을 자연어로 풀어 설명하며 이동하는 방식이다. 

또한 이모지나 손그림 스케치 같은 비정형 입력을 행동 지시로 해석할 수 있다. 딥마인드는 시마2가 게임 내 상황을 사용자에게 계속 묘사하며 협업하는 대화형 플레이어처럼 동작한다고 덧붙였다.

성능 지표도 일부 공개됐다. 딥마인드는 기존 테스트에서 인간의 평균 성공률이 약 71퍼센트 수준이고 시마1은 31퍼센트를 기록했지만 시마2는 동일 조건에서 65퍼센트를 달성했다고 밝혔다. 이는 시마1 대비 약 두 배 이상의 성능 개선으로 회사는 복잡한 과제를 다단계로 해결하는 능력이 크게 향상됐다고 분석했다.

또 하이드로니어, ASKA, MineDojo 등 훈련 데이터에 포함되지 않은 환경에서도 채굴과 수확처럼 유사한 개념을 스스로 전이해 행동 계획을 세우는 점을 중요한 진전이라고 설명했다.

딥마인드는 시마2가 월드 모델 ‘지니3(Genie3)’와 결합해 작동하는 구조도 소개했다. 지니3는 텍스트나 이미지 한 장으로 즉석에서 인터랙티브한 3D 환경을 생성하는 모델이며 시마2는 이 안에서 행동을 검증하는 역할을 수행한다. 

데미스 허사비스 CEO는 한 AI가 다른 AI가 만든 세계 안에서 활동하도록 설계된 구조라며 LLM이 만든 답변이 현실에서 어떤 결과를 낳을지 월드 모델을 통해 미리 시험할 수 있다고 설명했다. 복잡한 물리적 상황을 실제 로봇에 적용하기 전에 가상 환경에서 안정적으로 검증할 수 있는 기반을 마련하는 것이 목표다.

학습 구조도 기존 버전 대비 크게 확장됐다. 시마2는 초기 단계에서는 사람의 시범 데이터를 통해 기본기를 습득하지만 이후에는 인간 데이터 없이도 스스로 연습하며 성능을 끌어올리는 방식이라고 한다. 

새로운 환경에서 제미나이 모델이 대량의 과제를 자동 생성하고 보상 모델이 각 시도에 점수를 부여하며 시마2는 점수가 높은 행동 궤적을 학습 데이터로 재사용하는 구조이다. 딥마인드는 이 자기 개선 루프가 반복되면 과거에는 실패하던 복잡한 과제도 후속 세대에서는 스스로 해결하게 되는 패턴이 나타난다고 설명했다.

시마2가 실제 로봇 구현으로 이어지기 위해서는 여전히 해결해야 할 기술적 한계가 남아 있다. 장기 기억이 필요한 시나리오에서는 컨텍스트 길이가 부족하고 복잡도가 높은 3D 장면에서 미세 요소를 정확히 인식하는 능력도 제한적이라는 설명이다. 

키보드 마우스를 통한 세밀한 저수준 제어 역시 안정성이 더 필요하다는 지적이다. 이런 이유로 딥마인드는 시마2를 일반 사용자에게 공개하지 않고 연구자와 게임 개발사에만 제한적으로 제공한다. 모델의 행동이 인간 감독 없이 반복 개선되는 구조이기 때문에 책임 있는 개발 체계를 우선 검증하겠다는 입장이다.

AI 업계에서는 월드 모델과 에이전트가 결합하는 구조가 대형언어모델이 갖는 한계를 보완할 가능성에 주목하고 있다. 텍스트만으로 세상을 배우는 방식에서 벗어나 가상 세계를 직접 체험하며 행동과 피드백을 반복하는 모델이 등장하면 인간과 유사한 학습 패턴이 구현될 수 있다는 분석이다. 

시마2는 이동 도구 사용 협업 같은 로봇과 AI 어시스턴트에 필요한 기반 행동 세트를 확보하는 데 의미가 있으며 AI 연구에서는 3D 게임 환경을 로봇 훈련용 시뮬레이터로 활용하는 시도가 확산되고 있어 시마2와 지니3 조합이 실제 산업용 로봇 개발에도 영향을 줄 것으로 보인다.

이와 같은 전반적인 기술 동향을 종합해보면 업계에서는 AI가 실제 환경에서 의도와 행동을 연결하는 구조를 만들기 위해 다양한 시도를 하고 있다는 평가가 나온다.