'속으로만 생각'하기 시작한 AI…안전 감시망에 뚫린 구멍

AI가 답을 내놓기까지 무슨 생각을 거쳤는지 사람이 들여다볼 수 없게 만드는 새로운 추론 방식이 등장해 AI 안전 연구자들 사이에 우려가 번지고 있다. 오픈AI의 신규 모델 '아스트라(Astra)'가 이 기법을 실제로 도입한 사실이 알려지면서다.

논란의 기술은 '재귀 깊이(recurrent depth)'로 불린다. '불투명 재귀(opaque recurrence)'라는 별칭으로도 통한다. 기존 추론형 AI는 '사고 사슬(chain of thought)'이라는 방식을 쓴다. 문제를 풀어가는 과정을 사람이 읽을 수 있는 문장으로 한 단계씩 적어 내려가는 것이다. 

사용자가 챗봇에 질문했을 때 답 아래 흐르는 설명글이 바로 그것이다. 반면 재귀 깊이는 모델 내부의 동일한 연산 층을 여러 차례 반복해 돌리는 구조다. 답을 내놓기 전에 수많은 추론 단계를 내부에서 끝내버리는데, 그 중간 과정이 글자로 바깥에 남지 않는다. 사람이 읽을 수 있는 흔적이 거의 사라지는 셈이다.

이 방식을 쓰는 이유는 효율이다. 모델은 하나의 연산 층 묶음을 반복 재사용하기 때문에 크기를 키우지 않고도 실질적인 처리 깊이를 끌어올릴 수 있다. 작은 모델이 큰 모델급 성능을 내면서도 메모리와 연산 비용은 오히려 줄어든다. 연구자들이 이 기법의 확산을 예상하는 것도 이 때문이다.

문제는 이 흔적이 AI 안전의 핵심 감시 수단이라는 점이다. 사고 사슬로 남은 문장은 안전팀이 작업 도중 모델의 오작동이나 위험한 행동 패턴을 잡아내는 주된 도구다. 

이 감시는 추론 과정이 글자로 남아 있을 때만 작동한다. 재귀 방식은 그 중간 단계를 아예 문장으로 내놓지 않기 때문에, 모델이 어떤 경로로 결론에 도달했는지, 위험한 과정을 숨기고 있지는 않은지 확인하기가 어려워진다.

이 사실은 지난 9월 정보기술(IT) 전문매체 디인포메이션(The Information) 보도로 알려졌다. 오픈AI가 아스트라에 재귀 깊이를 제한적으로 적용했다는 내용이었다. '제한적'이라는 단서에도 반응은 즉각적이었다. AI 통제 연구 기관 레드우드리서치의 벅 슐레게리스 대표는 아스트라가 이 기법을 쓴다는 보도에 극도로 우려한다고 밝혔다. 

그는 오픈AI가 반복 횟수를 대폭 늘리는 방향으로 기술을 밀어붙일 경우 사고 사슬 감시 자체가 완전히 무력화될 수 있다고 경고했다. 

같은 기관의 수석과학자 라이언 그린블랫은 여기서 한 단계 나아가 모델이 거의 전적으로 잠재 공간(latent space)에서만 사고하게 되는 상황을 가장 큰 우려로 꼽았다. 잠재 공간이란 사람이 읽을 수 없는 내부 표현만으로 추론이 이뤄지는 영역을 말한다.

AI 안전 논평가 즈비 모쇼위츠는 이 문제를 규제 차원으로 끌어올렸다. 그는 각 AI 기업이 투명성을 포기하며 경쟁하는 '바닥을 향한 경쟁'을 막으려면 법이 필요할 수 있다고 주장했다. 이 기법을 '불장난'에 비유하며 사고 사슬을 최대한 오래 읽을 수 있는 상태로 유지하자는 업계의 암묵적 규범이 무너질 수 있다고 지적했다.

파장은 오픈AI 한 곳에 그치지 않는다. 디인포메이션의 후속 보도에 따르면 앤스로픽과 구글 딥마인드도 이미 유사한 기법을 검토하고 있다.

오픈AI는 반박에 나섰다. 야쿠프 파호츠키 수석과학자는 엑스(X)에 사고 사슬 감시를 보존하고 활용하는 것이 여전히 핵심 연구 목표라고 밝혔다. 아스트라를 포함한 현재 모델의 연산 규모는 이전 세대인 GPT-4의 두 배 이내 수준이며 부정확한 보도가 감시 불가능한 상태로의 경쟁을 촉발하는 것을 막고 싶다는 입장도 덧붙였다.

다만 오픈AI는 아스트라의 시스템 카드에서 이 모델의 사고 사슬 감시 가능성이 이전 모델보다 유의미하게 떨어졌다는 사실을 자체적으로 공개했다. 회사의 이력에서 극히 드문 선제적 공개다.

전문가들도 완벽한 투명성이 원래 있었던 것은 아니라는 점은 인정한다. 모든 AI는 이미 어느 정도 불투명한 연산을 수행하며 사고 사슬 기록조차 모델 내부 과정을 그대로 옮긴 것은 아니다. 우려의 초점은 이 방식이 산업 표준으로 자리 잡으면서 그나마 남아 있던 감시 수단마저 통째로 사라지는 상황에 맞춰져 있다.